Доклады Российской академии наук. Математика, информатика, процессы управления, 2023, T. 514, № 2, стр. 270-288

1. ВВЕДЕНИЕ

Диалоговые системы стали неотъемлемой составляющей повседневной жизни, находя применение в различных сферах. Они представляют собой программное обеспечение, способное коммуницировать с пользователем в процессе диалога, при этом эмулируя поведение, аналогичное реакции человека на информацию, предоставленную пользователем. Одной из фундаментальных задач в моделировании диалоговых систем является определение намерения, выражаемого участником диалога в его реплике, и предсказание намерения, которое будет лежать в основе последующей реплики диалога. В данной исследовательской работе предлагается инновационный подход к решению задачи прогнозирования намерения в диалоговых системах, базирующийся на использовании графовых структур.

Диалог может быть интерпретирован как последовательность намерений, где каждое намерение отражает конкретный запрос или утверждение, высказываемое участниками диалога. Такая парадигма позволяет представить некоторый набор диалогов в виде полного ориентированного многодольного диалогового графа, вершины которого описывают намерения участников диалога. Каждая доля построенного графа представляет поведение участника через вероятностную модель переходов между его намерениями и намерениями других участников диалога. Рассматривая каждый диалог как путь или подграф многодольного графа, можно преобразовать задачу предсказания намерения следующего высказывания в задачу классификации, где намерение следующего высказывания является целевой переменной. Подобный подход позволяет улучшить точность задачи предсказания намерений, что приводит к более результативному взаимодействию между диалоговой системой и пользователем. Помимо этого, представленный метод может быть особенно важным в контексте решения задачи выбора ответа, где использование графовой структуры диалогов приводит к значительному повышению точности [1], что подчеркивает актуальность и перспективность исследования.

Наш вклад заключается в следующем: (i) Разработка инновационных графовых методов для русского языка, которые обеспечивают точное предсказание намерений следующего высказывания в диалоге. (ii) Оценка производительности нескольких современных текстовых кодировщиков и графовых моделей на различных русскоязычных наборах данных с целью решения задачи предсказания намерений. (iii) Анализ полученных результатов, позволяющий оценить эффективность предложенных подходов на русскоязычных диалоговых системах.

Код доступен здесь (анонимизированная ссылка).

2. СОПУТСТВУЮЩИЕ РАБОТЫ

Текстовые энкодеры. Выбор подходящего текстового энкодера играет важную роль в формировании качественных векторных представлений для диалоговых фраз. В последние годы исследования в области обработки естественного языка привели к появлению разнообразных архитектур для кодирования текстовой информации [2]. Одним из наиболее динамично развивающихся направлений стало использование трансформерных моделей, таких как BERT и GPT. Такие языковые модели продемонстрировали впечатляющие результаты в анализе контекста, выявлении семантических связей и генерации текста, что раскрывает новые перспективы для повышения качества диалоговых систем.

Автоматическое построение диалогового графа. Как уже было упомянуто, для решения задачи прогнозирования намерений требуется построение многодольного диалогового графа.

Построение многодольного диалогового графа начинается с формирования вершин, которые в дальнейшем могут быть интерпретированы как намерения участников диалога, исходя из методологии построения графа. Для этого реплики диалогов разбиваются на кластеры с применением двухэтапного алгоритма кластеризации, базирующегося на алгоритме Ллойда (метода K-средних) [3] и семантических и контекстуальных векторных представлениях. Подробное описание алгоритма кластеризации и способов получения векторных представлений представлено в разделе “Методология”.

После построения вершин графа следующим шагом является установление связей между ними. Итоговый результат представляется в виде графа, где кластеры выступают в качестве вершин, а направленные ребра обозначают вероятности переходов между кластерами. Важно подчеркнуть, что каждый кластер представляет собой вершину многодольного диалогового графа и задает свое уникальное намерение.

Прогнозирование намерений. Каждый диалог можно интерпретировать как подграф в многодольном диалоговом графе или последовательность переходов между вершинами многодольного графа, соответствующими различным намерениям, содержащимся в репликах диалога. А именно, каждая реплика диалога несет в себе определенное намерение участника диалога, что позволяет определить, к какой вершине многодольного графа реплика диалога относится. Таким образом, при помощи представления диалога в форме ориентированного подграфа диалогового графа, используя методы классификации графов становится возможным предсказать намерение следующего высказывания в диалоге (см. рис. 1).

Для решения задач графовой классификации наиболее распространенным подходом является применение Графовых Нейронных Сетей (GNN) [4]. Обычно графовые методы разделяют на две основные категории: гомогенные и гетерогенные. Гомогенные методы, включая Графовые Сети Внимания (GAT) [5], пользуются высокой популярностью за счет их способности улавливать зависимости между вершинами графа. В рамках гетерогенных методов используются Графовые Трансформерные Сети (GTN) [6], которые выявляют информативные связи между вершинами, создавая на основе исходной графовой структуры новые структуры графа, называемые метапутями.

3. МЕТОДОЛОГИЯ

Автоматическое построение диалогового графа. Для эффективного решения задач, связанных с классификацией графов и предсказанием намерений в диалоговых системах с разным числом участников и разнообразными ролями, необходимо сформировать многодольный полный ориентированный диалоговый граф [7]. Такой граф будет отражать различные роли в диалоговой системе, поведение участников диалога и их взаимодействие.

К примеру, в диалоговых системах с закрытым доменом принято выделять две роли – пользователя и менеджера. Соответственно, в диалоговом графе целесообразно сформировать две доли, каждая из которых соответствует одной из ролей. В случае диалоговых систем с открытым доменом, как правило, присутствует только одна роль – роль участника диалога. Однако существуют исключения, например, набор диалоговых данных Matreshka, который, несмотря на открытый домен, включает две разные роли: пользователя и бота. Это подчеркивает важность гибкости методологии в обработке разнообразных диалоговых сценариев.

Построение вершин многодольного диалогового графа осуществляется при помощи двухэтапного алгоритма кластеризации (см. рис. 2). На первом этапе происходит группирование реплик с использованием аппроксимации метода k-means из библиотеки FAISS. В результате образуются первичные кластеры, содержащие диалоговые высказывания, обладающие схожими векторными представлениями и семантической структурой. На втором этапе для каждого из первичных кластеров создаются контекстуальные векторные представления с применением метода Cluster2Vec. Суть данного метода заключается в интерпретации диалога как последовательности номеров кластеров, к которым принадлежат соответствующие реплики диалога. На основе сформированных последовательностей происходит обучение Word2Vec, где числа, представляющие номера кластеров, выполняют роль “слов”. Подход Cluster2Vec позволяет получить векторные представления первичных кластеров, которые включают в себя контекстную информацию, описывающую окружение, в котором встречаются реплики каждого кластера в рамках диалогов. Далее, с использованием аппроксимации метода k-means из библиотеки FAISS на основе контекстуальных векторных представлений осуществляется объединение первичных кластеров в итоговые кластеры – будущие вершины многодольного диалогового графа. Таким образом, вершины диалогового графа содержат в себе высказывания с идентичной семантикой, которые встречаются в диалогах в схожих контекстах.

Предварительная обработка данных. Этап предварительной обработки данных включает в себя подготовку набора диалоговых данных для обучения моделей прогнозирования намерений в диалогах. Для предсказания следующего намерения используется информация из последних m высказываний диалога с использованием метода скользящего окна длиной m. Если история диалога на момент предсказания короче, чем m, добавляется нулевая вершина, указывающая на отсутствие высказывания в истории. Каждый фрагмент диалога из получившейся выборки представляется в виде ориентированного подграфа многодольного диалогового графа (см. рис. 3). Вершины подграфа соответствуют вершинам многодольного диалогового графа, в которых расположены высказывания фрагмента диалога, на основе которого построен подграф. Далее создаются необходимые признаки для вершин и ребер каждого подграфа.

Метрики. В данном исследовании метрики Recall@k и MAR (Mean Average Recall) использовались для точности прогнозирования намерения следующего высказывания предложенными подходами. Для каждого построенного по диалогу из тестовой выборки графа присваивается значение 1, если вершина с намерением следующей реплики входит в топ-k вершин, сформированный на основе предсказанных вероятностей, и значение 0 – в противном случае. Затем для каждого k полученные значения усредняются по всем репликам и диалогам. Для оценки распределения метрики Recall@k и определения, насколько точно предсказываются вершины-кандидаты, использовались различные значения $k$: $\{ 1,3,5,10\} $. Метрика MAR является средним арифметическим по значениям $k \in \{ 1,3,5,10\} $ метрики Recall@k.

Кроме того, чтобы выделить различия в кластерах, сформированных для разных ролей в наборах данных с закрытым доменом, мы представляем отдельные результаты для прогнозирования намерений пользователя и диалоговой системы.

4. ПРЕДЛАГАЕМЫЕ ПОДХОДЫ

В этом разделе представлен обзор использованных подходов для прогнозирования намерения следующего высказывания в диалоге. Главной задачей каждого подхода является предсказание по диалоговому подграфу намерения следующего высказывания диалога, что аналогично предсказанию вершины в многодольном диалоговом графе, так как каждая вершина в многодольном диалоговом графе представляет уникальное намерение. В математической форме постановку задачи можно представить следующим образом: дан диалог U = = $\{ {{u}_{1}},{{u}_{2}},...,{{u}_{t}}\} $, t – количество высказываний в диалоге, u_i – i-e высказывание в диалоге. Для каждой реплики диалога u_i известна вершина ${{{v}}_{i}}$ с намерением реплики, соответственно, диалог представляется в форме ориентированного подграфа многодольного диалогового графа G = = $(V,E)$, где V = $unique(\{ {{v}_{1}},{{v}_{2}},...,{{v}_{t}}\} )$ – это набор вершин подграфа, а E = $\{ ({{v}_{1}},{{v}_{2}}),({{v}_{2}},{{v}_{3}}),...,({{v}_{{t - 1}}},{{v}_{t}})\} $ – это набор ребер подграфа.

Markov Chain. Базовый подход, в котором на основе набора диалоговых данных вычисляются вероятности перехода из одной вершины в вершины других долей многодольного диалогового графа. Самые вероятные вершины для перехода из текущей вершины графа рассматриваются как потенциальные кандидаты для вершины с намерением следующей реплики в диалоге.

Encoder. Другим базовым подходом является использование предварительно обученных языковых моделей. В данном исследовании для этой цели был выбран энкодер LaBSE, который продемонстрировал лучшие результаты при формировании вершин многодольного диалогового графа. В рамках данного метода с применением текстового энкодера получаются векторные представления как предыдущих высказываний из истории диалога, так и потенциальных последующих реплик. На основе векторных представлений фраз из истории диалога осуществляется предсказание потенциальных последующих высказываний в диалоге и их намерений. Формально подход может быть представлен следующим образом: k кандидатов-вершин многодольного графа с намерением следующей реплики диалога ${{u}_{{t + 1}}}$ определяются как

где S – реплики из всех диалогов обучающей выборки, $c({{s}_{i}})$ – функция, по реплике возвращающая номер вершины многодольного графа, в котором содержится реплика. Полученные на первом шаге значения P(s), $s \in S$ сортируются по убыванию, также для каждой реплики из обучающей выборки определяется номер кластера. Выбор кандидатов-вершин происходит с начала отсортированного списка значений P(s) до тех пор, пока количество уникальных кандидатов-вершин не станет равным k.

Encoder-MAP. С целью проведения всестороннего сравнительного анализа был разработан метод, который представляет собой русскоязычную контекстуальную модель, включающий в себя дообучение языковой модели для задачи предсказания последующей реплики на основе истории диалога. В данной концепции LaBSE выступает в качестве базовой модели, которая дополняется слоем Feed Forward Neural Network, содержащим отдельные матрицы весов для векторных представлений истории диалога и потенциальных следующих реплик. Выбор кандидатов-вершин происходит по аналогии с предсказанием кандидатов-вершин в рамках подхода Encoder.

CatBoost. Результаты экспериментов показали, что среди библиотек градиентного бустинга наилучшей эффективностью для прогнозирования намерений обладает CatBoost. В рамках реализации подхода для каждого подграфа формируется вектор, который представляет собой объединение признаков всех вершин, входящих в этот подграф. Затем полученный вектор передается в качестве входных данных алгоритму для решения задачи предсказания намерений.

Message Passing. Графовые Нейронные Сети представляют собой один из наиболее широко распространенных методов в решении задач, связанных с анализом графовых структур. Среди многочисленных моделей графовых нейронных сетей особый интерес представляют Графовые Сети Внимания (GAT). Графовые Сети Внимания оперируют механизмом внимания, который позволяет определить степень важности сообщений, поступающих из соседних вершин, для агрегации информации между вершинами.

FastGTN. В графах, сформированных на основе диалогов, вершины имеют разные типы, зависящие от того, какая вершина многодольного диалогового графа соответствует текущей вершине. Для решения задач, связанных с такими графами, могут быть применены Графовые Трансформерные Сети (GTN). В представленной работе используется FastGTN – усовершенствованная реализация GTN.

5. ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ

В данном разделе приведены результаты применения различных подходов на наборах диалоговых данных с открытым доменом (см. табл. 1) и наборах диалоговых данных с закрытым доменом (см. табл. 2), где подходы оцениваются с использованием метрики MAR (Mean $Average$ Recall).

В разделе обсуждения результатов можно выделить следующие ключевые аспекты исследования.

Сравнительная таблица результатов. В разделе обсуждения результатов представлено сравнение (см. табл. 3) различных подходов на основе подробных результатов оценивания с использованием метрики Recall@k, $k \in \{ 1,3,5,10\} $. Каждому методу присваивается единица, если его результаты по конкретной метрике являются лучшими, в противном случае – 0. Затем суммируются значения по всем метрикам для каждого подхода и датасета.

Преимущество моделей на основе графов. Из таблицы сравнения видно, что наилучший результат продемонстрировал подход, использующий метод Message Passing (MP). Однако Graph Transformer Network (GTN) также продемонстрировал высокий уровень производительности, превосходя градиентный бустинг и текстовые подходы. Следует отметить, что Message Passing и Graph Transformer Networks также выделяются более высокой скоростью выполнения и низкими требованиями к вычислительным ресурсам в сравнении с другими подходами. Это подчеркивает их эффективность и практическую применимость при использовании диалоговых графов для предсказания намерений.

Превосходство графовых моделей над текстовыми подходами. Графовые модели продемонстрировали превосходство над текстовыми архитектурами в решении задачи прогнозирования намерений в диалогах. В частности, графовые модели показали результат лучше как в сравнении с простым использованием текстового кодировщика, так и в сравнении с дополнительно обученным текстовым кодировщиком Encoder-MAP. Это подтверждает важность учета структурных взаимосвязей между элементами диалога.

Асимметричность ролей в диалогах. В процессе анализа метрик на наборах данных с закрытым доменом было выявлено значительное различие в результатах между метриками пользователя и метриками диалоговой системы. Это различие обусловлено асимметричностью ролей, которые субъекты играют в диалоге, и подчеркивает важность учета асимметричности ролей в будущих исследованиях.

Таким образом, результаты данного исследования подтверждают важность применения графовых моделей для анализа диалоговых данных и их потенциал в улучшении точности и эффективности в задачах прогнозирования намерений в диалогах.

6. ЗАКЛЮЧЕНИЕ

Исследование демонстрирует превосходство графовых моделей над текстовыми архитектурами в контексте задачи прогнозирования намерений в диалогах. Графовые модели и метод градиентного бустинга демонстрируют сопоставимое качество, однако Message Passing и Graph Transformer Networks выделяются более высокой скоростью работы и требуют меньших затрат вычислительных ресурсов. Мы обнаружили различия в метриках, оценивая модели на данных с несколькими ролями в диалогах, что подтверждает гипотезу о важности формирования отдельных кластеров, отображающих намерения, для каждой роли.

Текстовые подходы, такие как Encoder-MAP, демонстрируют низкие результаты в сравнении с графовыми моделями, что подчеркивает важность извлечения структурных зависимостей из данных. Также дополнительное обучение повышает эффективность текстовых подходов, но по сравнению с моделью на основе цепей Маркова качество текстовых архитектур оказывается ниже. 

Приложение