Доклады Российской академии наук. Математика, информатика, процессы управления, 2023, T. 514, № 2, стр. 49-59

2.1. Wasserstein GAN

Генеративно-состязательные сети (Generative adversarial networks, GAN) [6] – метод обучения генеративных моделей. Он заключается в одновременном обучении двух моделей: генератора и дискриминатора. Генератор и дискриминатор учатся попеременно: генератор – генерировать объекты из целевого (истинного) распределения, а дискриминатор – различать выходы генератора и наблюдения из истинного распределения, в чем и состоит “состязание”. В данной статье в качестве и генератора, и дискриминатора используются нейронные сети.

Обучение обычно представляет собой оптимизацию некоторой функции потерь генератором и дискриминатором в разных направлениях (минимизацию и максимизацию). Одна из таких функций основывается на 1-расстоянии Вассерштейна и используется в Wasserstein GAN (WGAN) [4].

Обозначим за ${{\mathbb{P}}_{r}}$ целевое распределение, а за ${{\mathbb{P}}_{g}}$ – распределение выхода генератора на некотором нормированном¹¹² пространстве объектов $\mathcal{X}$. Тогда 1-расстояние Вассерштейна между ${{\mathbb{P}}_{r}}$ и ${{\mathbb{P}}_{g}}$ определяется как

где $\prod\nolimits_ ({{\mathbb{P}}_{r}},{{\mathbb{P}}_{g}})$ – множество всех совместных распределений на $\mathcal{X} \times \mathcal{X}$, маргинальными распределениями которых являются соответственно ${{\mathbb{P}}_{r}}$ и ${{\mathbb{P}}_{g}}$.

Для липшицевой функции $f:U \mapsto V$ (где U, V – некоторые нормированные пространства) обозначим за ${{\left\| f \right\|}_{L}}$ наименьшую константу, для которой выполняется условие липшицевости, т.е.

Утверждается [7], что

где супремум берется по всем функциям $f\,:\,\mathcal{X}\, \mapsto \,\mathbb{R}$, которые являются липшицевыми с константой 1.

Если в качестве функции $f(x)$ использовать нейронную сеть (дискриминатор) и обучать ее на максимизацию оценки ${{\mathbb{E}}_{{x \sim {{\mathbb{P}}_{r}}}}}[f(x)] - {{\mathbb{E}}_{{x \sim {{\mathbb{P}}_{g}}}}}[f(x)]$ по выборкам из ${{\mathbb{P}}_{r}},\;{{\mathbb{P}}_{g}}$, то из (1) ожидается, что эта оценка будет приближаться к $W({{\mathbb{P}}_{r}},{{\mathbb{P}}_{g}})$. Следовательно, минимизация этой же оценки генератором будет соответствовать приближению ${{\mathbb{P}}_{g}}$ к ${{\mathbb{P}}_{r}}$, т.е. желаемому обучению генератора. И именно такую оценку вида

где ${{X}_{r}} = (x_{r}^{{(1)}}, \ldots ,x_{r}^{{(m)}})$, $x_{r}^{{(i)}} \sim {{\mathbb{P}}_{r}}$, ${{X}_{g}} = (x_{g}^{{(1)}}, \ldots ,x_{g}^{{(m)}})$, $x_{g}^{{(i)}} \sim {{\mathbb{P}}_{g}}$ – выборки настоящих и сгенерированных объектов соответственно, предлагается использовать в качестве функции потерь при обучении WGAN с отрицательным и положительным знаками для дискриминатора и генератора соответственно.

Нетрудно показать, что при замене условия ${{\left\| f \right\|}_{L}} \leqslant 1$ на ${{\left\| f \right\|}_{L}} \leqslant K$ в (1) для произвольного $K \geqslant 0$ правая часть равенства будет равна $K \cdot W({{\mathbb{P}}_{r}},{{\mathbb{P}}_{g}})$, что при обучении с помощью градиентного спуска будет соответствовать изменению шага в K раз вдоль того же направления. Следовательно, ожидаемо от функции дискриминатора достаточно липшицевости с некоторой небольшой константой, а не в точности с 1.

Для того чтобы поддерживать условие ограниченности липшицевой константы дискриминатора, применяются различные методы нормализации. Одним из таких методов является спектральная нормализация [5].

2.2. Спектральная нормализация

Утверждение 1. Для сети вида f(x) = = $({{f}_{{p + 1}}} \circ {{\sigma }_{p}} \circ \ldots \circ {{\sigma }_{1}} \circ {{f}_{1}})(x)$, где

1. ${{f}_{i}}(x) = {{W}_{i}} \cdot x$ – линейный слой

2. ${{\sigma }_{i}}(x)$ – некоторая функция активации такая, что ${{\left\| {{{\sigma }_{i}}} \right\|}_{L}} = 1$ (например, ReLU или LeakyReLU) утверждается [5], что

Алгоритм спектральной нормализации заключается в том, что матрица весов каждого линейного слоя W_i заменяется на $W_{i}^{'} = \frac{{{{W}_{i}}}}{{{{{\widehat {\left\| {{{W}_{i}}} \right\|}}}_{2}}}}$, где ${{\widehat {\left\| {{{W}_{i}}} \right\|}}_{2}}$ – оценка спектральной нормы матрицы W_i, получаемая в результате применения степенного метода (power iteration). В результате, из (3), липшицева константа всей сети оказывается ограничена сверху 1. Для сверточных слоев все матрицы-ядра конкатенируются в одну матрицу, оценка спектральной нормы которой используется в качестве делителя при нормировании.

Ограничение липшицевой константы дискриминатора в методе спектральной нормализации обеспечивается жестким нормированием слоев так, что спектральная норма каждого из них в точности становится равна 1 (с поправкой на неточность используемой оценки нормы). Это существенно ограничивает выразительную способность сети, поэтому в данной работе предлагается ослабить это ограничение.

2.3. ABCAS

Метод ABCAS (Adaptive Bound Control of spectral norm as Automatic Stabilizer) [8] развивает идею спектральной нормализации. В нем дискриминатор ограничивается в большей степени (его липшицева константа меньше), чем в оригинальном методе, причем степень ограничения меняется по ходу обучения. Для этого поддерживается значение $r \in {{\mathbb{R}}_{{ \geqslant 0}}}$, и матрица весов каждого из слоев дискриминатора, которые нормируются в методе спектральной нормализации, дополнительно умножается на $m{{ = 0.9}^{r}}$. Таким образом, нормируемая матрица весов ${{W}_{i}}$ заменяется на $W_{i}^{'}\, = \,\frac{m}{{{{{\widehat {\left\| {{{W}_{i}}} \right\|}}}_{2}}}}$ · W_i. Значение $r$ обновляется после каждой итерации обучения генератора по следующей оценке расстояния между истинным и генерируемым распределениями:

где ${{X}_{r}},\;{{X}_{g}}$ – выборки из настоящих и сгенерированных объектов соответственно, а $f(x)$ – дискриминатор. Чем больше эта оценка, тем больше r и, соответственно, сильнее ограничение дискриминатора. Авторы обосновывают данную стратегию выбора r тем, что экспериментально усиление ограничения на дискриминатор при увеличении расстояния между истинным и генерируемым распределениями приводит к желаемому уменьшению этого расстояния.

ABCAS в ходе экспериментов в рамках решаемой задачи рассматривается в качестве альтернативного способа нормализации, являющегося параметризованным обобщением спектральной нормализации.

Умножение на фиксированную константу

Самым наивным способом является умножение выхода дискриминатора, к которому применяется спектральная нормализация, на фиксированную константу. Это добавляет параметризацию, однако выбор оптимальной константы требует некоторого перебора, что может быть вычислительно трудно.

Умножение на обучаемый множитель

В качестве развития прошлого способа предлагается умножать выход дискриминатора на обучаемый множитель, что избавит от необходимости подбирать константу, а также сделает метод более гибким ввиду возможности изменения множителя во время обучения. Однако так вовсе теряется гарантия на ограниченность липшицевой константы дискриминатора, ведь обучаемый множитель может принимать сколь угодно большие значения.

Регуляризация обучаемого множителя

Одним из способов ограничения роста множителя является его регуляризация. В качестве нее предлагается прибавлять дополнительное регуляризационное слагаемое к функции потерь дискриминатора. Обозначим обучаемый множитель за $c$, тогда одним из простейших вариантов регуляризационного слагаемого является

Однако такая регуляризация приводит к необходимости тщательного подбора $\lambda $, т.к. при относительно больших значениях множитель с некоторого момента будет почти монотонно убывать до нуля, а при малых – неограниченно увеличиваться. Желаемым же поведением является сходимость множителя к некоторому ненулевому значению.

В качестве более подходящей регуляризации предлагается “штрафовать” множитель лишь при значениях больше некоторого, например, 1. Для этого предлагается использовать следующее регуляризационное слагаемое по аналогии с ${{\ell }_{p}}$-регуляризацией:

где ${\text{offset}} > 0$ – некоторое “нештрафуемое” значение множителя, которое следует подбирать экспериментально. В качестве стартового значения множителя используется ${\text{offset}}$. Подобная регуляризация не позволит множителю расти, но в то же время не будет его так сильно ограничивать, как (4). Далее регуляризация со слагаемым вида (5) будет обозначаться как $\ell _{p}^{{{\text{offset}}}}$-регуляризация.

Умножение выходов слоев дискриминатора на разные множители

В методе спектральной нормализации поддерживается условие равенства спектральной нормы матрицы весов каждого нормируемого слоя 1. Однако из Утверждения 1 достаточным является лишь ограничение произведения этих норм сверху 1. Предположительно, возможность равенства норм матриц весов различных слоев дискриминатора разным значениям может улучшить результат, увеличив выразительную способность дискриминатора.

Предлагается для каждого слоя, нормируемого алгоритмом спектральной нормализации, добавить умножение выхода на отдельный обучаемый множитель. Изначально этот множитель для каждого слоя будет равен 1. Чтобы ограничить рост липшицевой константы дискриминатора, как и ранее, предлагается использовать регуляризационное слагаемое по аналогии с $\ell _{p}^{{{\text{offset}}}}$-регуляризацией для одного обучаемого множителя:

где $\bar {c} = ({{c}_{1}}, \ldots ,{{c}_{k}})$, ${{c}_{i}} > 0$ – множитель для i-го нормируемого слоя. Далее регуляризация со слагаемым вида (6) будет обозначаться как $\ell _{p}^{{{\text{offset}}}}$-регуляризация, так же, как и для случая с одним обучаемым множителем.

4.1. Постановка задачи генерации и процедура обучения

Задача симуляции физического эксперимента рассматривается как задача условной генерации. В ней генерируемое значение зависит от условия, которым являются входные показатели частицы: координаты позиции входа (2 числа) и вектор импульса (3 числа). Объектом генерации является матрица размера 30 × 30 с неотрицательными элементами. Схематически эксперимент изображен на рис. 1. Примеры целевых матриц приведены на рис. 2.

Для генерации используется алгоритм WGAN с условной генерацией, как в [2]²³². В качестве условия дополнительно используются значения двух функций, вычисляемых по входным показателям частицы: длина и угол поворота вектора точки входа частицы относительно центра детектора. Используемые архитектуры моделей генератора и дискриминатора приведены в приложении А . Дополнительно использовалась меньшая сеть дискриминатора: с вдвое меньшим числом выходных каналов для каждого сверточного слоя и соответственно уменьшенными линейными слоями (суммарное число параметров уменьшилось примерно в 4 раза).

Ряд гиперпараметров был зафиксирован для всех проводимых экспериментов:

В качестве алгоритма оптимизации как для генератора, так и для дискриминатора был взят RMSProp, т.к. он используется в оригинальном методе WGAN. Количество итераций обучения дискриминатора перед итерацией обучения генератора (n_critic) равно 5 по той же причине. Размер подвыборки, используемой для одного шага оптимизации, (batch) равен 200, как наибольшему (чтобы ускорить обучение) значению из опробованных, при котором качество генерации не ухудшается. Обучение велось в течение 150 эпох³³⁴, т.к. практически для всех методов значения использованных метрик к 150-й эпохе уже продолжительное время находились примерно на одном уровне, и потенциала для дальнейших изменений по графикам не наблюдалось.

Остальные гиперпараметры подбирались для каждого метода отдельно путем перебора нескольких вручную заданных значений. Из них выбирались те, при которых значения метрик итоговой модели в среднем по нескольким запускам процедуры обучения оказывались наилучшими.

4.2. Оценка качества генерации

За основу метрики качества генерации в рассматриваемой задаче была взята PRD (Precision-Recall for Distributions) [9].

${\text{PRD}}({{\mathbb{P}}_{g}},{{\mathbb{P}}_{r}})$ определяется как множество пар $(\alpha ,\beta )$ из ${{[0,1]}^{2}}$, удовлетворяющих некоторому условию такому, что $\alpha $ в некотором смысле соответствует точности (precision), а $\beta $ – полноте (recall) приближения ${{\mathbb{P}}_{r}}$ с помощью ${{\mathbb{P}}_{g}}$ по аналогии с задачей классификации. Образуемая этим множеством кривая (PRD-кривая) рассматривается как аналог PR-кривой. В качестве метрики используется площадь под этой кривой – PRD-AUC (аналогично метрике PR-AUC). В [9] представлен алгоритм нахождения примерной PRD-кривой для GAN путем приближения распределений ${{\mathbb{P}}_{g}}$ и ${{\mathbb{P}}_{r}}$ дискретными с помощью кластеризации объектов сгенерированной и истинной выборок.

Оригинальная метрика PRD не учитывает условие, тогда как в данной работе рассматривается именно задача условной генерации и хотелось бы оценивать близость именно условных целевого и генерируемого распределений. Чтобы учесть условия, предлагается некоторым образом разбить их множество на небольшое число непересекающихся подмножеств. Затем рассмотреть условные распределения ${{\mathbb{P}}_{g}}$, ${{\mathbb{P}}_{r}}$ при попадании условия в каждое из этих подмножеств как отдельные распределения. Далее для каждой пары условных генерируемого и истинного распределений вычислить PRD-AUC, как для безусловных, и затем усреднить полученные значения по всем подмножествам.

Более формально, пусть y – случайная величина (условие) на некотором множестве условий $\mathcal{Y}$. Задача условной генерации – приблизить условное распределение ${{P}_{r}}(x\,{\text{|}}\,y),\;x \in \mathcal{X}$ для каждого $y \in \mathcal{Y}$.

Определение 1. Обозначим за PRD-AUC$({{\mathbb{P}}_{g}},{{\mathbb{P}}_{r}})$ значение PRD-AUC для распределений ${{\mathbb{P}}_{g}},\;{{\mathbb{P}}_{r}}$. Пусть $\mathcal{B} = \{ {{B}_{k}}\} _{{k = 1}}^{q}$ – некоторое конечное разбиение $\mathcal{Y}$ (т.е. $\coprod\nolimits_{k = 1}^q {{B}_{k}}\, = \,\mathcal{Y}$). Введем метрику усредненной PRD-AUC по разбиению множества условий $\mathcal{B}$⁴⁵⁴ как

На практике предлагается вычислять метрику как оценку теоретического значения по выборкам из ${{P}_{g}}(x,y)$ и ${{P}_{r}}(x,y)$, как и в алгоритме из [9] вычисляется оригинальная PRD-AUC.

Более формально:

Определение 2. Пусть

1. $X_{g}^{{{\text{cond}}}} = \{ (x_{g}^{{(i)}},y_{g}^{{(i)}})\} _{{i = 1}}^{{{{n}_{g}}}}$ – выборка сгенерированных объектов (из ${{\mathbb{P}}_{g}}$), где $x_{g}^{{(i)}} \sim {{P}_{g}}(x\,{\text{|}}\,y_{g}^{{(i)}})$, т.е. объект сгенерирован при условии $y_{g}^{{(i)}}$.

2. $X_{r}^{{{\text{cond}}}} = \{ (x_{r}^{{(j)}},y_{r}^{{(j)}})\} _{{j = 1}}^{{{{n}_{r}}}}$ – выборка настоящих объектов (из ${{\mathbb{P}}_{r}}$), где $x_{r}^{{(j)}} \sim {{P}_{r}}(x\,{\text{|}}\,y_{r}^{{(j)}})$, т.е. объект из целевого распределения при условии $y_{r}^{{(j)}}$.

3. $\widehat {{\text{PRD - AUC}}}({{X}_{g}},{{X}_{r}})$ – оценка ${\text{PRD - AUC}}({{\mathbb{P}}_{g}},$ ${{\mathbb{P}}_{r}})$ (результат применения алгоритма из [9]).

Тогда оценка ${\text{PRD - AU}}{{{\text{C}}}_{\mathcal{B}}}({{\mathbb{P}}_{g}},{{\mathbb{P}}_{r}})$:

Именно по формуле (8) будет вычисляться значение условной средней PRD-AUC в дальнейших экспериментах.

Для рассматриваемой задачи разбиение множества условий было выбрано по координатам входа частицы (2 числа). А именно, был взят минимальный прямоугольник, содержащий все значения координат из обучающей выборки. Далее он был разбит равномерно двумя отрезками по каждой координате. Таким образом, получилось его разбиение на 9 прямоугольников, соответствующих 9 подмножествам условий.

Метрика PRD-AUC и ее условная вариация далее вычисляются не по объектам выборок напрямую (матрица 30 × 30), а по следующим эмбеддингам:

1. результат применения сверточной сети, некоторым образом обученной на аналогичных данных, к матрице (размерность – 64);

2. вектор, состоящий из нескольких экспертно заданных физических статистик, вычисленных по матрице (размерность – 4).

5.1. Оригинальная спектральная нормализация

Были проведены эксперименты для сравнения спектральной нормализации с обучением вовсе без нормализации дискриминатора и с использованием наивного усечения весов (weight clipping [4]: после каждой итерации обучения все веса дискриминатора приводятся к диапазону $[ - c,c]$ для некоторого $c \in {{\mathbb{R}}_{{ \geqslant 0}}}$).

В табл. 1 можно видеть, что использование спектральной нормализации улучшает результат, причем как по средним значениям метрик, так и по их дисперсиям, что говорит о более стабильном процессе обучении. Визуально графики метрик подтверждают это.

Было  замечено,  что  значения  метрики PRD-AUC (без учета условий) для всех методов примерно одинаковы. Вероятно, это вызвано тем, что значения координаты входа частицы для большей части объектов из используемого набора данных сосредоточены в одной области (около центра детектора). Из-за этого PRD-AUC почти не учитывает качество генерации при координате, отдаленной от этой области, тогда как оно при этом существенно ухудшается (ввиду меньшего количества обучающих примеров). В отличие от   оригинальной PRD-AUC, условная средняя PRD-AUC учитывает разные области координат входа с равным весом, из-за чего лучше отражает качество генерации для разных значений условий и позволяет различать модели по качеству.

5.2. Адаптивная нормализация с обучаемыми множителями

На рис. 3 можно видеть ожидаемое поведение обучаемого множителя, на который умножается выход дискриминатора, при различных предложенных подходах к его регуляризации. При $\ell _{1}^{{{\text{offset}}}}$- и $\ell _{2}^{{{\text{offset}}}}$-регуляризации наблюдается желаемое поведение: множитель сходится к значению ${\text{offset}}$. Также при такой регуляризации часто имеет место почти монотонный рост множителя, а затем его почти монотонное падение до значения ${\text{offset}}$. Как было замечено в ходе экспериментов, подобное поведение вызвано тем, что в начале обучения абсолютные значения функции потерь WGAN значительно превосходят значения регуляризационного слагаемого, и, следовательно, регуляризация почти не влияет на процесс оптимизации. По ходу обучения функция потерь приближается к нулю и принимает значения все ближе к регуляризационному слагаемому, из-за чего регуляризация начинает влиять на оптимизацию все сильнее.

При умножении выходов слоев дискриминатора на разные множители с $\ell _{2}^{{{\text{offset}}}}$-регуляризацией произведение множителей зачастую ведет себя похоже на множитель при умножении лишь выхода сети с $\ell _{1}^{{{\text{offset}}}}{\text{/}}\ell _{2}^{{{\text{offset}}}}$-регуляризацией, как показано на рис. 4. Однако принимаемые произведением множителей значения существенно больше, чем у одного множителя.

Результаты всех рассмотренных методов представлены в табл. 2.

Можно видеть, что регуляризация множителя существенно улучшает результат: вариант с умножением выхода дискриминатора на множитель без регуляризации оказывается наихудшим. Многие методы показывают результаты, близкие к спектральной нормализации. Заметно превосходит ее лишь умножение выходов нормируемых слоев дискриминатора на отдельные обучаемые множители с $\ell _{2}^{{{\text{offset}}}}$-регуляризацией. Помимо большего среднего, наблюдается уменьшение дисперсии в сравнении с оригинальным алгоритмом, что позволяет говорить о большей стабильности обучения. При этом значимый прирост наблюдается только по максимуму условной средней PRD-AUC по эмбеддингам из сверточной сети. Однако, предположительно, остается простор для подбора более оптимальных гиперпараметров, т.к. их значения оказывают сильное влияние на результат. Модификации с умножением лишь выхода дискриминатора на обучаемый множитель при некоторых наборах гиперпараметров тоже оказываются лучше оригинального метода по этой метрике.

При использовании меньшего дискриминатора разница между методами становится более значимой, как можно видеть в табл. 3. Несмотря на то что множество перебираемых значений гиперпараметров для предложенных методов было сужено в сравнении с экспериментами для исходного дискриминатора, некоторые из методов показывают улучшение результата относительно спектральной нормализации. Лучшим оказывается умножение выхода дискриминатора на обучаемый множитель с $\ell _{2}^{{{\text{offset}}}}$-регуляризацией, значительно превосходя спектральную нормализацию по всем метрикам, как по средним значениям, так и по дисперсии. В данном случае, в отличие от большей сети дискриминатора, умножение выходов нормируемых слоев на отдельные множители оказывается хуже оригинального метода. Однако, предположительно, это связано с неоптимальными гиперпараметрами.

5.3. Выявленное свойство ABCAS

При подобранных значениях коэффициентов скорости обучения результаты ABCAS оказываются в среднем близки к результатам спектральной нормализации. Однако при неоптимальных значениях коэффициентов, когда результаты спектральной нормализации существенно ухудшаются в сравнении с лучшими, значения метрик при применении ABCAS значительно превосходят оригинальный алгоритм. Помимо этого, их графики гораздо стабильнее, что можно видеть на рис. 5. Причем почти одинаковые итоговые результаты наблюдаются при изменении коэффициента скорости обучения дискриминатора на порядки при неизменном коэффициенте для генератора. Подобное изменение может существенно влиять на обучение GAN, что и наблюдается для остальных методов, но при использовании ABCAS это влияние гораздо менее выражено.

Такая стабильность ABCAS, вероятно, закономерна, т.к. при неоптимальных значениях коэффициентов скорости обучения можно видеть отличительное поведение значения $r$. А именно, оно увеличивается на протяжении первых эпох (что соответствует увеличивающейся оценке расстояния между распределениями и усиливающемуся ограничению на дискриминатор), а затем уменьшается, как показано на рис. 6. Предположительно, бóльшая стабильность обучения достигается из-за большего ограничения дискриминатора на первых эпохах.

Подобная особенность ABCAS потенциально полезна при подборе гиперпараметров модели, т.к. она может избавить от необходимости тщательного подбора коэффициентов скорости обучения, которые имеют сильное влияние на результат обучения GAN.