Доклады Российской академии наук. Математика, информатика, процессы управления, 2023, T. 514, № 2, стр. 225-234

CNN архитектуры

За последнее десятилетие сверточные нейронные сети (CNN) совершили прорыв в задачах компьютерного зрения [7]. Принципы работы CNN были позаимствованы из работ Хьюбела и Визеля, исследовавших зрительную кору головного мозга [8]. Первая архитектура CNN была предложена ЛеКуном в конце 1980-х гг. [9]. Прорыв в обучении CNN произошел в 2012 г. на соревнованиях по компьютерному зрению ILSVRC, где в задачах классификации изображений победила сверточная нейронная сеть AlexNet [2]. В 2014 г. команда Google представила на ILSVRC архитектуру GoogLeNet [10], особенностью которой стали Inception-блоки с battleneck и свертками 1 × 1, которые позволили увеличивать количество сверточных каналов. В 2015 г. команда из Microsoft Research предложила архитектуру ResNet [3], в которой использовались пропускные соединения, создающие неявный эффект ансамблирования. В 2019 г. команда из Google Research предложила подход EfficientNet [11], позволяющий масштабировать глубокие CNN, за счет подбора оптимальной комбинации depth, width и resolution в сверточных сетях.

Нейросети для выявления мошенничества

С началом бума глубокого обучения нейронные сети стали вытеснять классические методы машинного обучения в исследованиях по выявлению мошенничества [12]. Вайс и Омлин [13] предложили использовать LSTM-сеть для выявления мошеннических транзакций. Фу и соавт. [14] решили аналогичную задачу выявления карточного мошенничества, обучив архитектуру сверточной нейронной сети LeNet-5. Для этого авторы представили транзакции в виде прямоугольных матриц признаков, которые подавались на вход CNN как двумерные картинки. Хериади и Варнарс [15] попытались объединить CNN c LSTM, предложив гибридную архитектуру CNN-LSTM. Однако эксперименты показали, что простая CNN выявляет мошенничество лучше, чем гибридная сеть.

В последующих работах Ли и соавт. [16] применили DenseNet для выявления кражи электроэнергии в Китае. Чен и Лю [17] доработали архитектуру DenseNet, добавив в начало сети модуль Inception и дополнительные пропускные соединения между Inception-слоем и Dense-блоками. Ченг и соавт. [18] предложили основанную на внимании трехмерную сверточную сеть STAN. На задаче выявления транзакционного мошенничества STAN показала лучшее качество по сравнению с градиентным бустингом, CNN, LSTM и др. В задачах выявления организованного мошенничества на интернет-сайтах (фейковые отзывы, боты, спам и пр.) на сегодняшний день набирают популярность графовые нейронные сети, позволяющие извлекать признаки для взаимосвязанных объектов [19].

Постановка задачи

При разработке архитектуры нейронной сети для выявления мошенничества мы исходим из того, что разработанные экспертами антифрод-правила являются своего рода цифровыми уликами. При этом антифрод-правила, как и улики, имеют различный уровень доказательности и могут использоваться в сочетании друг с другом, усиливая доказательную базу. Эта интуиция говорит нам о том, что наиболее подходящими инструментами для комбинирования антифрод-правил и отбора сильных комбинаций являются операции свертки и пулинга, применяемые в CNN. С другой стороны, если комбинация правил, полученная на скрытых слоях, обладает высокой предсказательной способностью, то мы хотим ее использовать сразу на выходном слое, перебрасывая с помощью пропускных соединений (skip-connection). Эта интуиция отражает лучшие практики расследований мошенничества и может быть реализована с помощью полносвязной сверточной нейронной сети, которую мы назвали SpiderNet (рис. 1).

Spider-блок

SpiderNet состоит из блоков, которые связаны друг с другом с помощью пропускных соединений. Таким образом каждый блок получает информацию от всех предыдущих блоков и после обработки передает ее на все последующие блоки. Поскольку мы хотим иметь на выходе только самые сильные функции, то наиболее отдаленные от выхода блоки должны содержать несколько слоев пулинга для отсеивания слабых функций. И, наоборот, чем ближе блок находится к выходу сети, тем меньше слоев пулинга он содержит, принимая на вход отфильтрованные сильные функции. Общая архитектура Spider-блока показана на рис. 2.

Функционально k-тый Spider-блок определяется рекурсивной формулой:

где ${{y}_{k}}$ – вектор $n - k$ выходов для k-го блока;

$ \circ $ ${{\mathcal{F}}_{k}}\left( \cdot \right)$ – оператор k-го блока, объединяющий функции dropout, convolution, batch normalization, ReLU и Max-pooling;

$ \circ $ $ \oplus $ – оператор конкатенации входящих векторов;

$\sum \oplus $ – короткая запись конкатенации векторов;

$ \circ $ ${{y}_{i}}$ – выходной вектор i-го блока, подаваемый на вход k-го блока $\left( {1 \leqslant i < k} \right)$.

В последнем блоке SpiderNet для уменьшения размерности каналов добавлена операция Global Average Pooling. Поле этих преобразований вектор подается на два полносвязных слоя с операциями dropout и SoftMax для бинарной классификации. Формула (1) показывает математическую интуицию – SpiderNet работает как ансамбль нейронных сетей.

Б-тесты

Обобщая идеи закона Бенфорда [6] для числовых и категориальных типов данных, мы предлагаем методику Б-тестов, которая заключается в сравнении характеризующего объект распределения с распределением всех объектов. Применение Б-тестов базируется на том, что данные о деятельности мошенников отличаются от среднестатистического поведения (рис. 3).

Б-тест рассчитывается как разница площадей для двух дискретных распределений (мошеннического и совокупного):

где ${{a}_{i}}$ и ${{b}_{i}}$ – сравниваемые распределения;

$ \circ $ $n$ – количество квантилей.

Количество квантилей $n$ и пороговое значение $S$ зависят от количества наблюдений в выборках и могут настраиваться как гиперпараметры [20].

W-тесты

Для расчета W-теста используется метрика Вассерштейна:

где $E\left[ Z \right]$ – ожидаемое значение случайной величины Z, а нижняя граница берется по всем совместным распределениям случайных величин $X$ и $Y$ с предельными значениями $\mu $ и $\nu $ соответственно.

Метрика Вассерштейна решает проблему маленьких данных в выборках, к которой чувствительны Б-тесты. Однако метрика Вассерштейна применима только к числовым типам данных.

Данные

Мы обучили и сравнили SpiderNet с другими моделями на двух наборах данных – приватном и общедоступном (табл. 1).

Приватный набор. Приватный набор содержит данные о кредитах POS-партнеров банка, входящего в топ-50 российских банков по размеру активов. Согласно внутренней процедуре банка, убыточные POS-партнеры помечены как мошеннические, прибыльные – как не мошеннические. Общая задача сводится к прогнозированию внутреннего мошенничества на основе данных о действиях POS-партнера.

Общедоступный набор. Общедоступный набор взят из конкурса выявления мошенничества в онлайн-платежах, организованного Ant Financial Services Group. Набор содержит признаки по платежам и бинарную целевую переменную. Для формирования обучающих выборок мы провели предварительную обработку данных, удалив пустые и коррелированные признаки.

Архитектуры нейронных сетей

Для оценки качества SpiderNet мы сравнили несколько архитектур и моделей:

1. Random Forest – базовая модель, надежный алгоритм и отраслевой стандарт для моделирования на табличных данных. Для настройки гиперпараметров мы использовали перекрестную проверку на 5-fold и библиотеку Optuna;

2. 1D-CNN – одномерная сверточная сеть;

3. 1D-DenseNet – архитектура DenseNet [21] для одномерных векторов;

4. F-DenseNet – адаптированный DenseNet для выявления мошенничества с двумя полносвязными сверточными блоками;

5. SpiderNet – наша нейронная сеть (рис. 4).

При обучении нейросетей мы использовали L2-регуляризацию, BatchNorm и ReLU в сверточных слоях, dropout в полносвязных слоях. В блоках F-DenseNet и SpiderNet для пропускных соединений между блоками мы использовали dropout после объединения входных векторов (рис. 2). Мы также использовали технику fraud-rate leveling, чтобы решить проблему отсутствия мошеннических наблюдений в батчах. Наборы данных были стратифицировано разделены на обучающую $(80\% )$, валидационную $(10\% )$ и тестовую $(10\% )$ выборки. Настройка гиперпараметров нейросетей проводилась на валидационной выборке с использованием Grid-Search и метода ранней остановки.

Метрики качества

Оценка качества моделей осуществлялась с помощью метрики AUC ROC и нечувствительной к дисбалансу метрики AUC PR [22]. Для оценки качества моделей на приватном наборе мы разработали метрику PL (предотвращенные потери), которая показывает, какой объем потерь от внутреннего мошенничества предотвращает модель. Показатель PL рассчитывается через предотвращенные потери для каждого POS-партнера:

где $P{{L}^{{\left( i \right)}}}$ – предотвращенные потери по i-му мошенническому партнеру;

$ \circ $ $k$ – количество первых k партнеров с самым высоким fraud-скором (для нашего банка $k = 40$);

$ \circ $ ${{b}_{i}}$ – бинарная переменная для i-го партнера: 1 – мошенник, 0 – не мошенник;

$ \circ $ ${{T}_{l}}$ – весь период потерь;

$ \circ $ ${{T}_{a}}$ – период, на котором работает модель;

$ \circ $ $\left( {{{T}_{l}} - {{T}_{a}}} \right)$ – период, на котором рассчитываются убытки до вызревания триггерных показателей просрочки;

$ \circ $ $DR$ – уровень кредитной просрочки партнера на периоде $\left( {{{T}_{l}} - {{T}_{a}}} \right)$;

$ \circ $ $D{{R}_{0}}$ – точка безубыточности для уровня просрочки;

$ \circ $ ${{P}_{{({{T}_{l}} - {{T}_{a}})}}}$ – сумма выданных партнером кредитов за период $\left( {{{T}_{l}} - {{T}_{a}}} \right)$.

Общая сумма PL рассчитывается исходя из предположения, что расходы банка на сотрудников службы безопасности не увеличиваются (k = 40).