Доклады Российской академии наук. Математика, информатика, процессы управления, 2023, T. 514, № 2, стр. 395-416

3.1. Алгоритм EM

Как можно заметить, временные точечные процессы могут быть описаны вероятностным образом. Это свойство позволяет нам естественным образом использовать EM-алгоритм с моделями, основанными на интенсивности.

Целевой функцией EM-алгоритмов является математическое ожидание логарифмической вероятности. Этот метод полностью описывается в терминах вероятностей. Таким образом, в него можно включить вероятности временных точечных процессов, поскольку закон временных точечных процессов является вероятностным законом, как показано в предыдущем разделе. Тот факт, что мы можем использовать EM-алгоритм без дополнительных предположений о природе данных (например, гауссово распределение данных, с которым можно столкнуться в GMM), за исключением того факта, что существует некоторая функция интенсивности, вдохновил нас на использование этой комбинации.

4.1. Разбиение данных точечного процесса

Предположим, что интенсивность функции для последовательности задана как ${{\lambda }_{c}}(t\,{\text{|}}\,{{\mathcal{H}}_{t}}) \in {{L}_{1}}[0,{{T}_{s}}]$, где ${{T}_{s}}$ – конечное время последовательности. Мы можем рассмотреть разбиение на части в качестве приближения для данной интенсивности. В этом случае вместо обработки последовательностей мы обрабатываем разбиения.

Для заданной последовательности из набора датасетов ${\mathbf{s}} \in {\mathbf{S}}$ и конечного времени ${{T}_{s}}$ для этой последовательности мы разделяем интервал на ${{n}_{{steps}}}$ подынтервалов размером $\Delta t = {{T}_{s}}{\text{/}}{{n}_{{steps}}}$.

Подсчитывая количество событий каждого типа в каждом интервале, получаем матрицу разбиения ${\mathbf{P}} \in {{(\mathbb{N} \cup \{ 0\} )}^{{C \times {{n}_{{steps}}}}}}$. Затем мы добавляем строку со значением $\Delta t$. Таким образом, разбиение является функцией, которая отображает последовательность событий в матрицу.

Представим каждый элемент матрицы разбиения ${\mathbf{P}} = \{ {{P}_{{ij}}}\} $, как

где $i \ne 0$ равно количеству событий типа i во временном интервале $[j\Delta t,(j + 1)\Delta t)$. Для возможности выбора различных $\Delta t$ мы включаем их в качестве нулевой строки матрицы разбиения, ${{P}_{{0j}}} = \Delta t$, $j = \overline {1,{{n}_{{steps}}}} $.

После обработки всех последовательностей событий необходимо нормировать значения $\Delta t$ в матрице P, например, так

Здесь $\Delta T = \{ \Delta {{t}_{i}}\} _{{i = 1}}^{N}$. Такая нормировка позволяет достичь численной устойчивости для произвольного числа ${{n}_{{steps}}}$.

Выбор ${{n}_{{steps}}}$ . Наши эксперименты показывают, что число шагов должно быть несколько больше средней длины последовательности. Если ${{n}_{{steps}}}$ мало, то разрешение недостаточно хорошо для улавливания значимых зависимостей, а если ${{n}_{{steps}}}$ слишком много, то модели гораздо сложнее уловить долгосрочные зависимости. Мы используем ${{n}_{{steps}}} = 128$ для всех синтетических наборов данных и корректируем это значение для реальных наборов данных. Мы рекомендуем использовать ${{n}_{{steps}}} \approx 2{{N}_{{avg}}}$, где ${{N}_{{avg}}}$ – средняя длина последовательности. Однако окончательное решение о величине ${{n}_{{steps}}}$ остается за пользователем и может зависеть от набора данных.

4.2. Кодировка представления с помощью модели LSTM

Мы рассматриваем LSTM для обработки разбиения и прогнозирования интенсивности. LSTM – это нейросетевая архитектура, предназначенная для моделирования последовательных данных [11]. LSTM вычисляет последовательность, используя один элемент за раз. Блок обработки одинаков для всех элементов. Вход блока для $t$-го элемента последовательности состоит из новой информации, доступной на $t$-м шаге, ${{{\mathbf{x}}}_{t}}$ из s, а также скрытых состояний и состояний ячейки, ${{{\mathbf{h}}}_{{t - 1}}},{{{\mathbf{c}}}_{{t - 1}}}{{\mathbb{R}}^{D}}$ с памятью о прошлых событиях. Выходом блока LSTM, ${{{\mathbf{h}}}_{t}},{{{\mathbf{c}}}_{t}} = g({{{\mathbf{x}}}_{t}},{{{\mathbf{h}}}_{{t - 1}}},{{{\mathbf{c}}}_{{t - 1}}})$, являются новые скрытые состояния и состояния ячейки. Клеточное состояние позволяет улавливать долгосрочные зависимости. Скрытое состояние – это текущее представление прошлого, ориентированное на краткосрочные зависимости. После блока LSTM мы используем одномерную пакетную нормализацию [16].

Мы начинаем с предположения, что функции интенсивности для каждого типа событий ${{\lambda }_{c}}$ постоянны в момент времени, и оцениваем их с помощью LSTM. Аналогично [29], мы записываем функцию интенсивности в виде

где функция активации имеет вид

Здесь ${{b}_{c}}$ и ${{{\mathbf{w}}}_{c}}$ являются обучаемыми параметрами.

Для восстановления матрицы интенсивностей $\lambda \in \mathbb{R}_{{0 + }}^{{C \times {{n}_{{steps}}}}}$ для последовательности s, мы пошагово применяем LSTM-модель, представленную в виде $\lambda = LSTM(P({\mathbf{s}},{{n}_{{steps}}}),{{{\mathbf{h}}}_{0}})$. Следовательно, log-вероятность разбиения аналогична [29] и $\log p(P({\mathbf{s}},{{n}_{{steps}}})\,{\text{|}}\,\lambda )$ становится

Для такого временного точечного процесса мы максимизируем логарифмическую вероятность относительно параметров ${{\Theta }_{{LSTM}}}$, состоящих из параметров блока LSTM и параметров ${{{\mathbf{w}}}_{c}}$ и ${{b}_{c}}$ для типов событий $c \in \{ 1, \ldots ,C\} $.

4.3. Кластеризация на основе модели LSTM

Мы рассматриваем K кластеров и $N$ реализаций $\{ {{{\mathbf{s}}}_{n}}\} _{{n = 1}}^{N}$ последовательностей событий. Используя эти обучающие последовательности, мы хотим найти кластеры среди них и различные функции интенсивности для разных кластеров.

Для k-го кластера скрытые состояния ${{{\mathbf{h}}}_{{ik}}}$ изменяются в процессе обработки последовательности событий с начальными точками, соответствующими начальному скрытому состоянию кластера ${{{\mathbf{h}}}_{{0k}}}$. Аналогичным образом мы можем обучить соответствующие состояния ячейки. Таким образом, у нас есть $K$ начальных скрытых состояний, и мы представляем их как ${\mathbf{H}} = \{ {{{\mathbf{h}}}_{{0k}}}\} _{{k = 1}}^{K}$. Стоит отметить, что это фундаментальное отличие от подобного подхода в [51], потому что вместо обучения нескольких нейронных сетей мы обучаем только одну и различаем кластеры только по начальным скрытым состояниям. Этот факт увеличивает масштабируемость модели.

Мы ожидаем, что наша модель может предсказывать интенсивностную функцию λ_k = = $LSTM(P({\mathbf{s}},{{n}_{{steps}}})$, h_0k), и параметры модели $LSTM$ остаются неизменными.

Теперь рассмотрим смесевую модель с вероятностями смешивания для кластеров ${{\pi }_{k}} \geqslant 0$ и $\sum\limits_{k = 1}^K {{{\pi }_{k}}} $ = 1.

Для простоты определим ${{P}_{n}} = P({{{\mathbf{s}}}_{n}},{{n}_{{steps}}})$ и ${{\lambda }^{k}}({{P}_{n}})$ равным

Здесь ${{\lambda }_{{i,j}}}$ является интенсивностью i-th события на $j$-th временной метке.

Обозначим ${\mathbf{z}}$ как латентную переменную, соответствующую конкретной последовательности ${\mathbf{s}}$. Следовательно, ${{z}_{k}} = 1$, если ${\mathbf{s}}$ принадлежит к $k$-th кластеру и нулю в противном случае. Для всего набора, мы имеем матрицу латентных переменных, ${\mathbf{Z}} = ({{{\mathbf{z}}}_{1}},{{{\mathbf{z}}}_{2}}, \ldots ,{{{\mathbf{z}}}_{N}})$. Поэтому мы можем записать ${{\pi }_{k}} = p({{z}_{k}} = 1)$ и $p({\mathbf{z}}) = \prod\limits_{k = 1}^K {\pi _{k}^{{{{z}_{k}}}}} $.

Таким образом, мы видим, что

где $K$ – это число кластеров в модели, и что вероятность того, что последовательность ${\mathbf{s}}$ – это

Обозначая множество всех разбиений как P = = $\{ {{P}_{n}}\} _{{n = 1}}^{N}$, мы можем найти вероятность всего набора данных как

Аналогично, мы имеем

Для нахождения вероятности кластерной метки мы вычисляем

Однако решение прямой задачи неустойчиво. Поэтому мы используем вариант известного EM-алгоритма [4] и снабжаем его всеми полученными к настоящему времени вероятностями.

Целевую функцию ЕМ-алгоритма можно записать следующим образом

Эта целевая функция принимает параметры предыдущей итерации $\Theta $ и вычисляет ожидание согласно им. Здесь $\Theta $ – параметры модели LSTM. Во время тренировки мы должны вычислить новые параметры $\Theta {\kern 1pt} *$ и затем повторить это с новыми параметрами.

Для кластеризации последовательности событий, мы можем переписать это как

где

Во время шага E мы вычисляем ${{\gamma }_{{nk}}}$ с использованием параметров модели предыдущей итерации. Затем на шаге M мы обновляем параметры модели с помощью нескольких эпох тренировки нейронной сети. В нашем случае мы используем 10 эпох. Мы повторяем эту пару шагов E и M 50 раз.

4.4. Повышение стабильности и эффективности

Процедура двойного батчинга. В ходе работы EM-алгоритма мы оптимизируем следующую целевую функцию:

Здесь $\Theta $ – набор старых параметров модели, а $\Theta {\kern 1pt} *$ – набор новых параметров после обновления. На шаге E мы вычисляем матрицу с элементами ${{\gamma }_{{nk}}} = p({{z}_{n}} = k\,{\text{|}}\,{{P}_{n}})$. Это вычисление требует большого объема памяти и занимает много времени для больших выборок $S$. Чтобы преодолеть эту проблему, мы предлагаем использовать процедуру двойного батчинга, изображенную на рис. 2.

Процедура использует два размера батчей, ${{n}_{E}}$ и ${{n}_{M}}$. Первый размер ${{n}_{E}}$ – это максимальный размер вычисления. Он определяет количество точек данных для шага E. Второй размер, ${{n}_{M}}$, – это размер батча, который мы используем на шаге M при обновлении параметров нейронной сети.

При таком подходе и использовании (19) мы оцениваем и оптимизируем одну и ту же целевую функцию, которую описываем как

здесь ${{Q}_{{\max }}}$ – количество, вычисленное для партии размером ${{n}_{E}}$, а второе ожидание – ожидание по всем возможным партиям.

Вместо оптимизации функции потерь, вычисленной на всем наборе данных, мы предлагаем выбирать подмножество максимального размера на каждом шаге E и оптимизировать его. Таким образом, мы оптимизируем ${{Q}_{{\max }}}$ вместо его ожидания, что эквивалентно исходной проблеме. Однако из-за случайного выбора подмножества в долгосрочной перспективе они будут эквивалентными.

Такой подход позволяет использовать предложенный алгоритм EM для наборов данных произвольного размера. Мы демонстрируем правильность этого подхода в наших экспериментах.

Повышение стабильности кластеризации. Как это часто бывает с моделями глубокого обучения, конкретное решение может меняться при множественных запусках. Некоторые кластеры могут быть практически неотличимыми или становиться пустыми, и алгоритм может создавать вырожденные решения, объединяя несколько фактических кластеров в один. Чтобы предотвратить это, мы адаптируем идеи из [46]. Мы предлагаем зафиксировать вероятности смешивания на ${{\pi }_{k}} = \frac{1}{K}$ и использовать алгоритм Монте-Карло по схеме Марковской цепи (MCMC) для выбора числа кластеров.

Случайное блуждание:

Мы инициализируем модель одним кластером и изменяем количество кластеров в соответствии с алгоритмом MCMC на каждом шаге EM-алгоритма. Кроме того, мы ограничиваем максимальное количество кластеров разумным числом. Например, мы используем 10 в качестве верхней границы. Модель может сделать два хода на каждом шаге. Она может уменьшить или увеличить количество кластеров. Если количество кластеров не равно одному или максимальному количеству кластеров, вероятность изменения направления выбора равна $\frac{1}{2}$.

Увеличение:

Мы увеличиваем количество кластеров, разделяя один из них. Случайным образом выбираем a из бета-распределения, $a \sim Be(1,1)$ [52], и вычисляем скрытые состояния для двух новых кластеров как ${{{\mathbf{h}}}_{i}} \leftarrow 2a{{{\mathbf{h}}}_{i}}$, ${{{\mathbf{h}}}_{{K + 1}}} \leftarrow 2(1 - a){{{\mathbf{h}}}_{i}}$, где ${{{\mathbf{h}}}_{{K + 1}}}$ – новое скрытое состояние.

Уменьшение:

С вероятностью $\frac{1}{2}$ модель либо удаляет один кластер, либо объединяет два. В случае объединения i-го и j-го кластеров, начальные скрытые состояния нового кластера после объединения вычисляются как ${\mathbf{h}}_{i}^{{new}} \leftarrow \frac{{{{{\mathbf{h}}}_{i}} + {{{\mathbf{h}}}_{j}}}}{2}$.

Принятие/отклонение:

После первого шага встает вопрос о том, следует ли сохранить новую модель. Мы можем принять это решение вероятностным образом. Вероятность принятия есть минимум между 1 и отношением правдоподобия, $p({\mathbf{P}}\,{\text{|}}\,{{K}_{{new}}}){\text{/}}p({\mathbf{P}}\,{\text{|}}\,{{K}_{{old}}})$.

Фиксированное количество кластеров:

Наилучший выбор для максимизации логарифма правдоподобия – бесконечное разделение и обучение на подмножествах. Чтобы предотвратить такое поведение, мы (1) ограничиваем максимальное количество кластеров, (2) принудительно удаляем дополнительные кластеры в течение последних нескольких эпох, например, 10 из 50 эпох алгоритма Expectation-Maximization (EM). Принудительное удаление не ухудшает общую производительность, измеряемую метрикой чистоты.

Такой подход позволяет модели идентифицировать все существующие кластеры, увеличивая их количество. Он также предотвращает неудовлетворительные решения, когда несколько кластеров обучаются вместе как один кластер. В конечном итоге модель принуждается удалить дополнительные кластеры, которые почти пусты или отличаются незначительно от других, что приводит к более практическому решению. Стоит заметить, что следует избегать выбора очень большого верхнего предела для числа кластеров. Это увеличивает вероятность того, что мы получим кластеры, содержащие небольшое количество точек, и алгоритм не сможет удалить их.

4.5. Технические детали

$ \bullet $ Количество шагов для разбиений было выбрано близким к удвоенной средней длине последовательности

$ \bullet $ для всех экспериментов мы рассматривали 50 эпох EM-алгоритма с 10 эпохами обучения нейронной сети в течение M-шага.

$ \bullet $ Размер подмножества, которое использовалось в течение каждой эпохи EM-алгоритма, составлял 2000

$ \bullet $ Начальная скорость обучения была установлена на уровне 0.1

$ \bullet $ Мы использовали оптимизатор Adam и уменьшали скорость обучения на плато с допуском 25 и множителем 0.5.

$ \bullet $ Изначальное число кластеров было установлено равным 1, верхняя граница числа кластеров составляла либо 10, если истинное число кластеров меньше 10, и 20 в противном случае

$ \bullet $ В качестве представления последовательности рассматривалось конечное состояние ячейки

5.1. Синтезированный набор данных

Описание набора данных. Одним из основных преимуществ нашего подхода является возможность его применения к массивным наборам данных с большим количеством последовательностей. Для доказательства этого мы генерируем набор данных с последовательностями общим количеством в один миллион точек и проводим обучение на этих данных с максимальным размером вычислений, равным 2000.

Мы генерируем этот набор данных с помощью пяти процессов Хоукса с экспоненциальным затуханием. Более формально мы определяем его как

Здесь мы предполагаем, что ${{\mu }_{c}} \sim U[0;1]$, a_cc', ${{\delta }_{{cc'}}} \sim U([0;0.6])$. Мы используем метрику чистоты для оценки качества кластеризации в (23).

Здесь ${{C}_{k}}$ – это множество событий типа k во множестве $C$ set. ${{R}_{j}}$ эквивалентно.

В рис. 3 мы визуализируем синтетические данные. Стоит отметить, что три кластера расположены очень близко друг к другу, и их бывает трудно различить, например, на рис. 3б.

Чтобы продемонстрировать способность модели работать с разнородными данными, мы сгенерировали двенадцать дополнительных синтетических наборов данных с меньшим количеством точек данных. Мы провели эксперименты по сравнению нашей модели с моделью Дирихле-Хоукса [46] и трансформерной моделью Хоукса [57]. Конвейер генерации такой же, как и в [46], но расширенный. Восемь наборов данных были сгенерированы так же, как и в [46], с использованием синусоидальных функций воздействия и кусочно-постоянных функций воздействия, соответственно, а остальные четыре – с помощью моделирования экспоненциального ядра.

Для каждого вида формы функции влияния было сгенерировано четыре набора данных с различным количеством кластеров. Количество кластеров было выбрано равным 2, 3, 4 и 5. Каждый кластер содержит 400 последовательностей событий, а каждая последовательность событий содержит 5 типов событий. Интенсивность экзогенного базиса равномерно дискретизировалась из [0, 1]. Каждая синусоидальная функция воздействия в k-th кластере имеет вид $\phi _{{cc'}}^{k} = b_{{cc'}}^{k}(1 - {\text{cos}}(\omega _{{cc'}}^{k}(t - s_{{cc'}}^{k})))$, где $\{ b_{{cc'}}^{k},\omega _{{cc'}}^{k},s_{{cc'}}^{k}\} $ выбирается случайным образом из $\left[ {\frac{\pi }{5},\frac{{2\pi }}{5}} \right]$.

Каждая кусочно-постоянная функция воздействия является усечением соответствующей синусоидальной функции воздействия, т.е. $2b_{{cc'}}^{k} \times {\text{round}}(\phi _{{cc'}}^{k}{\text{/}}(2b_{{cc'}}^{k}))$.

Для синтетических наборов данных с синусоидальной функцией влияния используются следующие обозначения: sin-Kn-C5, где n – число кластеров, от 2 до 5. Для наборов данных, сгенерированных с использованием кусочно-постоянной функции воздействия, использовалось название trunc-Kn-C5.

Аналогично, четыре набора данных с экспоненциальным ядром были сгенерированы с именами Kn-C5.

Эксперименты

Масштабируемость

Чтобы проверить, как влияет на производительность максимальный размер вычислений в рис. 2, мы обучаем модель с одним и тем же гиперпараметром и максимальным размером вычислений, но с разными размерами массивов данных. Максимальный объем вычислений во всех экспериментах равен 2000. Результаты можно увидеть на табл. 2. Как видно, наш метод успешно обобщается на большие массивы данных.

Итоговая чистота по 15 запускам равна 0.576 ± ± 0.047. Таким образом, как и ожидалось, выделить три кластера оказалось трудно. Однако метод успешно определил два других кластера. На рис. 4 показаны кривые обучения.

Сравнение модели

Огромный набор данных трудно использовать для сравнения моделей, поскольку другие модели не могут обрабатывать миллионы последовательностей за разумное время. Поэтому мы провели эксперименты на двенадцати меньших наборах данных. Мы сравнили нашу модель со следующими базовыми моделями:

$ \bullet $ DMHP [46]. Модель смеси Дирихле для процессов Хоукса, объединяющая процессы Хоукса с EM-алгоритмом. У этой модели есть два недостатка – наличие гипотезы о самовозбуждении процессов и низкая скорость работы.

$ \bullet $ THP [57]. Модель “Трансформер Хоукса” использует возможности трансформеров для прогнозирования различных поведенческих сценариев и достижения более высокой производительности. Однако эта модель не предполагает наличие кластеров и предполагает, что все последовательности генерируются на основе процесса с одинаковой интенсивностью. Чтобы применить эту модель для кластеризации, мы добавляем методом K-means поверх кодировок.

$ \bullet $ Сверточный автокодировщик. Нейронная сеть автокодировщик, обученная восстанавливать последовательности, учитывая время как особенность. Чтобы применить эту модель для кластеризации, мы добавляем K-средние поверх кодировок. Не учитывает природу последовательности событий.

$ \bullet $ Методы кластеризации из библиотеки tslearn. Не учитывают природу последовательности событий.

$ \bullet $ K-means поверх признаков из библиотеки tsfresh. Не учитывает природу последовательности событий.

Результаты представлены в табл. 4 и 5. Как можно заметить, наш метод превосходит по выбранным показателям все базовые модели. Более того, несмотря на то, что все наборы данных были self-exciting, и, следовательно, можно было бы ожидать, что DMHP должен будет дать более высокие результаты, однако этого не произошло. Следует отметить, что DMHP также работает очень медленно (табл. 3) поэтому наш метод является лучшим как по качеству, так и по времени работы алгоритма.

Абляционное исследование

Модель зависит от различных метапараметров. Мы провели дополнительные эксперименты, чтобы показать, как эти параметры влияют на конечную производительность. Результаты можно найти на рис. 5. Мы можем сделать следующие выводы:

$ \bullet $ Скорость обучения играет большую роль. Модель очень чувствительна. Если скорость обучения низкая, то модель склонна переобучаться на случайные метки. Чтобы предотвратить это, можно либо уменьшить скорость обучения еще больше и замедлить обучение, либо увеличить скорость обучения, чтобы достичь минимальной возможной потери, а затем уменьшать скорость обучения с помощью планировщиков, когда EM-алгоритм сходится к разумным кластерам. Мы выбираем второй вариант. Начальная скорость обучения составляет 0.1, а затем мы уменьшаем скорость обучения на плато с помощью множителя 0.5 и терпимости в 25 эпох.

$ \bullet $ Начальное количество кластеров почти не влияет на конечную производительность.

$ \bullet $ Количество шагов имеет некий минимальный порог, необходимый для достижения хороших результатов. Этот порог сопоставим с длиной последовательности. Дальнейшее увеличение разрешения не улучшает результаты.

$ \bullet $ Верхнее ограничение кластеров также является значимым. Лучший верхний предел следует определить с использованием валидации.

Архитектуры RNN

Вместо LSTM-модели можно также рассмотреть стандартные RNN или GRU-архитектуры. В этом разделе мы приводим результаты сравнения этих моделей. С результатами можно ознакомиться в разделе табл. 6. Как можно заметить, наилучшие результаты показала архитектура на основе LSTM. Поэтому мы используем ее во всех экспериментах.

Ансамбли кластеров

Один из недостатков EM-алгоритма с нейронными сетями заключается в том, что он часто сходится к вырожденным решениям. В данной статье мы предложили методы улучшения стабильности, такие как случайное изменение числа кластеров и установку начальной скорости обучения на высокое значение. Однако также можно рассмотреть использование ансамблей кластеров. Мы использовали кластеризацию на основе матрицы сходства с использованием реализации из открытого репозитория на GitHub¹¹. Мы использовали 20 обученных базовых моделей и применили спектральную кластеризацию поверх матрицы сходства. Результаты можно найти в табл. 7. Как можно заметить, применение ансамблей позволяет получить такое же или лучшее качество. Более того, для некоторых наборов данных улучшение значительное. Таким образом, можно использовать ансамбли для улучшения результатов. Однако обучение нейронных сетей может занимать много времени. Таким образом, существует компромисс между качеством и временем обучения.

5.2. Реальные наборы данных

Можно считать доказанной достаточно высокую производительность модели LAL на синтетических данных. Однако модель полезна, если справляется с задачами реального мира. Мы провели эксперименты на четырех наборах данных, связанных с реальными задачами.

Первый набор данных – это данные IPTV [6]. Он содержит данные о просмотрах 7100 пользователей IPTV от Shanghai Telecomm Inc. Авторы классифицировали телевизионные программы на 16 типов, и набор данных содержит данные о просмотрах с длиной сеанса более 20 мин. Мы кластеризуем пользователей на основе их данных о просмотре.

Второй набор данных – это данные Age [9]. Он содержит последовательности транзакций клиентов финансовых учреждений. Для каждого клиента у нас есть последовательность транзакций. Мы описываем каждую транзакцию дискретным кодом, который идентифицирует тип транзакции и код категории продавца, такие как книжный магазин, банкомат, аптека и другие. На основе истории транзакций мы категоризуем клиентов по возрастным группам. В данных предоставляется возрастной интервал каждого клиента с четырьмя различными интервалами. Мы сравниваем нашу модель кластеризации с настоящими возрастными интервалами.

Третий набор данных – это данные LinkedIn [46]. Он содержит историю работодателей пользователей. Всего в наборе представлены 82 различные компании с различными типами событий и общим числом 2439 пользователей. На основе этих данных мы можем категоризировать пользователей по различным профессиональным областям. Для каждого пользователя доступна информация о секторах индустрии для сравнения их с реальными. Последовательности событий в этих трех наборах данных имеют сильные запускающие паттерны, которые мы можем смоделировать с помощью различных процессов Хоукса.

Четвертый набор данных – это данные о продуктах Amazon²². Он состоит из около 100 тыс. последовательностей пользовательских отзывов о продуктах и категорий продуктов. Все продукты разделены на 8 различных категорий. Размер этого набора данных позволяет нам также продемонстрировать масштабируемость модели на данных реального мира.

Исследования, основанные на кластеризации. Основная цель данной статьи – получить хорошие кластеры. Поэтому первый фокус состоит в проверке кластеров на наборе данных реального мира с помощью определенной метрики. Однако есть различные способы, как можно кластеризовать точки данных, например, людей можно разделить по возрасту, полу или области деятельности. Все эти разделения будут допустимыми, и выбор должен зависеть от конкретной проблемы. Однако эти исследования кластеризации будут полезны для интерпретации результатов и могут предоставить ценные идеи. Для проведения этих исследований необходимо присвоить псевдо-метки точкам данных для вычисления метрик. Мы провели эксперименты на трех наборах данных реального мира: IPTV, Age и Linkedin, с использованием следующих меток:

$ \bullet $ IPTV – тип последнего события

$ \bullet $ Age – четыре возрастных интервала

$ \bullet $ LinkedIn – секторы индустрии

Набор данных Amazon использовался для вторичной задачи и для демонстрации масштабируемости метода. Использовалась мера качества – чистота (purity).

Результаты представлены в табл. 8. Как видно, наша модель не является лучшей с точки зрения чистоты. Тем не менее рассмотрим кривые обучения более подробно на рис. 6.

После тренировки видно, что чистота не самая лучшая. Во время первой половины тренировки чистота становится выше, а потом становится ниже. Это означает, что существует корреляция между изученным кластером и псевдо-метками, и в первой половине обучения мы ловим некоторые зависимости, которые также можно найти в псевдо-метках. Однако дальнейшее обучение приводит к кластерам, которые отличаются от псевдометок и позволяют повысить степень соответствия закону интенсивности. Мы построили график 2 компонентов t-SNE для изученных представлений, чтобы показать, что можно получить различимые кластеры на реальных данных. В качестве представлений мы будем использовать состояние ячейки конечного слоя. Обоснование такого выбора сводится к тому, что состояние ячейки отвечает за память, и, таким образом, ожидается, что она лучше представляет данные в целом. Графики для набора данных Age можно увидеть на рис. 7.

Как можно заметить, существует четыре различных кластера. Однако они не очень хорошо отражают возрастные категории. Вот почему желательна дополнительная проверка, основанная на прикладной задаче.

Прикладная задача. Кластеры сами по себе не очень полезны до того момента, пока мы не можем использовать их для прогнозирования чего-то более конкретного. Кроме того, мы можем рассматривать и другие подходы к кластеризации с различными разбиениями. Таким образом, наша цель – представить задачу, аналогичную выбору аудитории с использованием сгенерированных кластеров, и тем самым показать, как можно использовать LAL в маркетинге.

Далее, чтобы показать устойчивость LAL, мы рассматриваем обучение представлений без учителя 35 сценариев в рамках изучения представлений, поскольку наша кластеризация имеет промежуточные представления.

Поэтому мы используем следующий метод проверки качества полученных представлений. Мы рассматриваем практические задачи, имитирующие выбор аудитории для подтверждения полученных результатов. В частности, мы рассматриваем возможность предсказания наиболее часто встречающегося типа события во временном окне, равном 10% длины последовательности. Это эквивалентно предоставлению интересов для аудитории или категории интересов. Например, маркетолог может нацелиться на всех, кто интересуется книгами или детскими игрушками.

Учитывая это, мы рассматриваем последнее состояние ячейки LSTM как представление последовательности, как это было сделано при исследовании t-SNE-представления. Состояние ячейки – это память LSTM и может обладать достаточной информацией о всей последовательности. Многие работы следуют этим подходам для последовательной обработки данных в целом и кластеризации в частности.

Мы сравниваем LAL с другими современными подходами. Наша цель – показать, как работает система в сравнении с теми архитектурами, которые многие специалисты могут считать более современными, или подходами, вызвавшими в последние годы больший интерес сообщества, чем LSTM.

В частности, мы используем трансформер Хоукса [57], или THP, и мультимодальный подход к вычислению представлений, использующий комбинацию последовательностей и текста, там, где это применимо, и TS-fresh библиотеку для получения особенностей последовательностей в качестве базовых представлений временных рядов для сравнения. Примечание: мультимодальность требует дополнительной модальности и поэтому может быть применена только для данных Amazon.

В случае THP мы используем выход кодирующей модели с механизмом self-attention, после чего пропускаем его через слой LSTM для получения представлений последовательности.

Для второго сравнения, multimodality, мы используем идеи мультимодальности, например [49] для изображений и текста. В нашем случае мы рассматриваем временные ряды и текст для создания представлений, которые мы объединяем. Для создания представлений временных рядов мы используем рекуррентные временные точечные процессы с отмеченной точкой [31]. Далее, мы создаем представления текста с помощью архитектуры [19]. После того как мы получили оба представления, мы объединяем их.

Последний подход (получение особенностей с помощью TS fresh) применяется для того, чтобы показать, что простых признаков, которые можно использовать в качестве представления последовательности, недостаточно, чтобы превзойти наш метод, и что представления, которые дает метод LAL, – лучше.

В среде сообщества специалистов по прикладным задачам машинного обучения распространен прием, при котором второй шаг в выборе аудитории выполняется с помощью логистической регрессии. Мы следуем этой практике и обучаем логистическую регрессию поверх всех встраиваний. Мы рассчитываем результаты и сравниваем оценки ROC AUC для задач “one-vs-all” для каждого типа событий. Наша методология схожа с [12].

Результаты выполнения прикладной задачи можно увидеть в табл. 9. Как можно заметить, наш метод показал превосходную производительность при решении прикладной задачи, что позволяет использовать его в бизнес-приложениях.

На данных о товарах Amazon мы используем около 100 тыс. точек для обучения. Аналогичным образом мы рассматриваем подмножество из 7.5 тыс. последовательностей для проверки результатов и сравнения LAL с THP и Multimodality. Таким образом, мы обучаем классификаторы (логистические регрессии) на основе встраиваний LAL, THP, Multimodality и TSFresh. Мы построили ROC-кривые для каждого типа события в рис. 8. Мы наблюдаем, что мультимодальный подход показывает неоптимальные результаты. Дальнейший анализ показывает, что мультимодальность может быть менее применимой для текстов и временных, чем для комбинации изображений и текстов. Таким образом, модель требует доработки.

Помимо этого, мы оценили производительность LAL на полном наборе данных о товарах Amazon и привели ее табл. 9. Как видно, наш метод успешно обобщается на достаточно обширную базу данных. В приложении мы приводим ROC-кривые для этого набора данных.

Для других наборов данных Multimodality неприменима, однако для них можно использовать THP и TS fresh, а также метод LAL. Мы вычисляем ROC-AUC метрику для всех методов табл. 9. Становится очевидным, что LAL превосходит другие методы и обеспечивает лучшее встраивание.

Стоит отметить, что результаты достаточно хороши для прогнозирования “one vs all”; однако модели сложно предсказать все классы одновременно. Нам следует рассмотреть более сложные модели для второго этапа отбора аудитории в качестве потенциальной альтернативы для повышения результатов нашей работы.