Доклады Российской академии наук. Математика, информатика, процессы управления, 2023, T. 514, № 2, стр. 150-157

1. ВВЕДЕНИЕ

В системах со стохастическими компонентами часто наблюдается множество стабильных состояний, в которые система переходит, претерпевая резкие сдвиги, называемые точками бифуркации, фазовыми переходами или катастрофами. Финансовые и экономические системы также подвержены этим событиям, но в их случае они больше известны как “кризис” или “черные лебеди”, редкие и резкие явления, оказывающие значительное влияние на рынки. Из-за того, что такие события имеют значительное влияние на экономику и стабильность, они привлекли интерес исследователей, что привело к широкому изучению этой темы [1–4].

Модели процентных ставок, основанные на Винеровских процессах, такие как модели Васичека или CIR, эффективны только в случаях небольших колебаний, которые возможны только в периоды высокой экономической стабильности [5]. Однако на практике такие входные условия встречаются не часто, что требует модификации моделей. Одним из решений этой проблемы является включение пуассоновских процессов или так называемой скачкообразной составляющей [6, 7]. В этом исследовании рассматривается идея замены Винеровских процессов стохастическими компонентами цветного (коррелированного) шума. Мы стремимся исследовать эффективность такого подхода для определения точки структурного разрыва в модели с использованием нейронных сетей.

Данная работа может быть полезна с точки зрения снижения рисков процентной ставки. Возможность обнаружить и прогнозировать изменение состояния во временном ряду процентной ставки может быть хорошей основой для алгоритмов хэджирования и расчета цен на опционы.

Объектом нашего исследования является модель Васичека, известная финансово-экономическая модель. Она фокусируется на динамике процентных ставок и является основой многих современных моделей, которые широко применяются в исследованиях и на практике. Модель Васичека представлена в многочисленных исследовательских работах – [8–10], что способствовало всестороннему пониманию ее механизмов и способов применения, включая анализ точек изменения состояния.

В работе изучается влияние, которое оказывают цветные шумы на модель Васичека и ключевые отличия от использования классического броуновского движения. Цветным шумам свойственна корреляция, что отличает их от независимой природы броуновского движения [11–13]. Используя цветные шумы, мы стремимся понять, как изменяются точки перехода между состояниями в модели, и как добавление корреляционных компонент сказывается на прогнозировании точек бифуркации.

Наша конечная цель состоит в том, чтобы обнаружить точки перехода в модели Васичека при различных сценариях цветного шума и сравнить результаты. Для этого была реализована модель нейронной сети с длительной и кратковременной памятью (long-short term memory – LSTM). В конце мы обобщим проведенный анализ и сделаем выводы на основе полученных результатов.

Структура остальной этой статьи выглядит следующим образом. В Разделе 2 обсуждаются основная модель анализа и общая методология исследования. Раздел 3 знакомит с концепцией цветного шума, его эффектом, а также процессом генерации данных и интеграции в модель. В Разделах 4 и 5 обсуждаются процессы калибровки параметров модели и настройки временного шага интегрирования. Раздел 6 знакомит с концепцией точек разрыва и методами их обнаружения. В Разделе 7 представлены результаты модели нейронной сети, обученной обнаруживать точки бифуркации. Наконец, в Разделе 8 будут подведены итоги работы, оценен вклад и обсуждаются возможности для дальнейших исследований. На рисунке ниже описана вся структура статьи.

2. МОДЕЛЬ И МЕТОДОЛОГИЯ

Модель Васичека является разновидностью стохастического процесса Орнштейна–Уленбека [14], что означает, что она имеет тенденцию возвращаться к долгосрочному среднему значению, и скорость возврата растет по мере удаления значения от него. Модель Васичека предполагает, что краткосрочная процентная ставка следует стохастическому процессу, в данном случае процессом Винера, но в рамках исследования мы заменяем его цветным шумом.

Модель характеризуется тремя параметрами: скоростью возврата к среднему значению – a, которая определяет скорость, с которой краткосрочная процентная ставка возвращается к своему долгосрочному среднему значению, долгосрочный средний уровень – $b$, $\sigma $ – коэффициент диффузии, который отвечает за волатильность случайного элемента и $\vartheta (t)$ – цветной шум. В классическом варианте модели используется $d{{W}_{t}}$ вместо $\vartheta (t)$ в качестве приращения винеровского процесса.

Чтобы получить численные решения стохастического дифференциального уравнения (СДУ) или же его аппроксимацию, мы будем использовать метод Эйлера–Маруямы, который был применен Г. Орландо,Р. Мининни и М. Буффало в [8, 15]. Применяя этот метод, мы можем получить аппроксимированное решение для СДУ вида:

Важно отметить, что общее решение использует $\sqrt {\Delta t} {{Z}_{i}}$ вместо ${{\vartheta }_{i}}$, где ${{Z}_{i}}$ – стандартная нормальная случайная величина.

3. ЦВЕТНЫЕ ШУМЫ

Во многих случаях изменения в сложной системе моделируются с использованием гауссовского белого шума с нулевым средним значением, который по сути является диффузионным процессом и может быть проанализирован с использованием общепринятых методов. Однако использование цветных шумов с разной спектральной плотностью мощности (СПМ), изменяющейся в зависимости от частоты, предпочтительнее белого шума в задачах обнаружения точек бифуркации, ввиду их особенностей: корреляции и созависимости, которые могут наблюдаются и в реальных данных. Предполагается, что такой метод должен повысить точность обнаружения точек изменения устойчивых состояний и резких сдвигов [16].

СПМ розового и броуновского (красного) шумы заданы формулой $\frac{1}{{{{f}^{\alpha }}}}$ – плотность обратно пропорциональна частоте, что означает равномерно убывающаю плотность мощности сигнала. СПМ синего и фиолетового шумов, наоборот, задана ${{f}^{\alpha }}$, что указывает на увеличение плотности мощности при возрастании частоты. Кроме того, есть несколько нетипичных шумов, например С. Гуз, Р. Маннелла и М. Свиридов [11] использовали так называемый зеленый шум, который имеет нулевую спектральную плотность мощности при нулевой частоте, для изучения катастроф в броуновском движении.

Для анализа выбраны следующие типы шума: розовый, коричневый (красный), а также белый шум, который будет использоваться для того, чтобы смоделировать исходную модель и сравнить результаты. Розовый шум был выбран на предположении о его природном происхождении, иначе говоря, это естественный шум, встречающийся во многих природных процессах, как утверждают различные исследования, например, М. Стоянов, М. Гунцбургер и Дж. Буркардт [12]. Коричневый шум похож на розовый шум с точки зрения его СПМ и часто рассматривается в моделях наряду с розовым шумом [17].

Для генерации временных последовательностей каждого из цветных шумов было применен метод, представленный Каулакисом и др. [13]. В этой работе рассматривается класс нелинейных стохастических дифференциальных уравнений, описывающих степенные СПМ – $\frac{1}{{{{f}^{\alpha }}}}$, в любом диапазоне частот. На основе предыдущих работ авторов было выведено основное СДУ:

где $x$ – сигнал, $\eta $ – это экспонента мультипликативного шума, $\nu $ определяет поведение стационарного вероятностного распределения, а $W$ – классический винеровский процесс.

Решив СДУ с использованием метода аппроксимации Эйлера–Маруямы, получим шум с СПМ $\frac{1}{{{{f}^{\alpha }}}}$.

Тот же метод был применен в работах [18] и [19] для анализа сложных финансовых систем.

4. ОЦЕНКА ПАРАМЕТРОВ

Напомним, что модель (1) зависит от параметров a, b и $\sigma $, следовательно, для моделирования процентных ставок они должны быть откалиброваны. В этом исследовании будут использоваться данные по процентной ставке в США с 1995 по 2022 г., достаточный период для калибровки модели. Для оценки коэффициентов мы используем функцию для моделей эргодической диффузии, введенную Б.М. Бибби, М. Якобсеном и М. Серенсеном [20] что, по мнению авторов, эффективно, когда явная функция правдоподобия неизвестна. Позже Г. Орландо, Р.М. Мининни и М. Буффало [15, 21] доказали надежность этого подхода относительно функции максимального правдоподобия, рассматриваемой К. Кладивко [22]. Изначальные коэффициенты рассчитываются по формулам (4)–(6) на основе исторических данных.

Далее, для каждого нового наблюдения, ${{t}_{i}},i > 0$ модель переоценивает коэффициенты относительно новых данных, которые были сгенерированы в момент времени ${{t}_{j}},j < i$. Таким образом, модель становится более гибкой и может соответствовать движениям реальных данных с изменяющимся долгосрочным средним значением.

5. НАСТРОЙКА ШАГА ИНТЕГРИРОВАНИЯ

При моделировании стохастических дифференциальных уравнений выбор шага интегрирования – $\Delta t$ имеет решающее значение. Согласно исследованию Р. Манеллы [23], независимо от метода решения (даже при условии, что оно идеальное) возникает проблема разных траекторий. Данная проблема заключается в том, что при выборе разных $\Delta t$ траектории исследуемого процесса могут сильно отличаться, что особенно важно при анализе точек перехода. Важно определить шаг интегрирования по времени, который оптимально аппроксимирует значения, полученные численным решением СДУ методом Эйлера–Маруямы. Опираясь на работу Т. Сауэра [24], погрешность может быть определена как несоответствие между значениями аналитического и аппроксимированного решения.

Аналитическое решение для модели Васичека:

Для оценки качества и точности модели в диапазоне разных временных интервалов мы используем подход, ранее предложенный Ф. Ерешко [25]. Идея данного метода заключется в поиске такой $\Delta t$, при которой аппроксимированное решение СДУ, обозначенное как ${{\omega }_{T}}$, будет максимально похоже на аналитическое решение – $X(T)$. Для того чтобы оценить качества аналитического решения, был использован критерий абсолютной разности:

Используя метод Монте-Карло для каждой из анализируемых $\Delta t$, был найден оптимальный шаг интеграции с наименьшим значением $\epsilon $. Основываясь на результатах симуляции, метод аппроксимации с $\Delta t = 0.0001$ показывает наилучшую точность и будет использоваться в модели.

6. ТОЧКА БИФУРКАЦИИ В ФИНАНСОВЫХ ВРЕМЕННЫХ РЯДАХ

Финансовые и экономические временные ряды часто являются нестационарными, что исключает возможность точного определения точек разрыва. Таким образом, в наших интересах использовать методы аппроксимации, которые могут идентифицировать локальные стационарные состояния в финансовых процессах [1].

Существует несколько алгоритмов, которые обычно используются для решения этой задачи, например, бинарная сегментация, но в нашем случае мы выбрали методику “сокращенное точное линейное время” (pruned exact linear time – PELT), которая была рассмотрена в работе Р. Киллика, П. Фернхеда и И.A. Икли [26]. Надежность этого алгоритма и его отличия от других методов подробно описаны в упомянутом исследовании.

Кроме того, Форе и др. [27] в своем исследовании подтверждают эффективность PELT по сравнению с другими современными методами, отличительной особенностью которых является наилучший компромисс между точностью результатов и временем вычислений.

Алгоритм PELT основан на методе оптимального разбиения, но включает в себя динамический шаг сокращения, что упрощает вычисления до линейных.

Пусть есть временной ряд данных X = {x₁, x₂, ..., x_n}, цель состоит в том, чтобы найти последовательность точек изменения C = $\{ {{c}_{1}},{{c}_{2}},...,{{c}_{k}}\} $, которые разделяют временной ряд на сегменты так, чтобы сегменты имели различные статистические характеристики. Алгоритм использует функцию стоимости для измерения качества сегмента.

Пусть ${{S}_{{ij}}}$ представляет собой сегмент от времени $i$ до $j$ (включительно), то есть S_ij = $\{ {{x}_{i}},{{x}_{{i + 1}}}$, ..., x_j}. Функция стоимости $cost\left( {{{S}_{{ij}}}} \right)$ оценивает, насколько хорошо данные в ${{S}_{{ij}}}$ могут быть описаны статистической моделью (например, нормальным распределением). Более низкая стоимость указывает на более лучшую подгонку.

PELT поддерживает массив накопленных стоимостей $C(t)$, где $C(t)$ представляет собой общую стоимость оптимальной сегментации до момента времени $t$. Цель – найти $C(t)$ для всех $t$, чтобы затем сравнить их между собой.

Основная идея PELT заключается в эффективном вычислении $C(t)$. Формула следующая:

Здесь:

$ \bullet $ $s$ – потенциальная последняя точка изменения перед $t$

$ \bullet $ ${{S}_{{s + 1,t}}}$ – сегмент между точкой изменения $s + 1$ и моментом времени $t$

$ \bullet $ ${\text{cost}}\left( {{{S}_{{s + 1,t}}}} \right)$ – стоимость подгонки подходящей статистической модели к сегменту ${{S}_{{s + 1,t}}}$

$ \bullet $ $\beta pen(m)$ – штраф, позволяющий избежать переобучения

Эта формула вычисляет стоимость расширения сегмента от предыдущей точки изменения $s$ до текущего момента времени $t$ и добавляет ее к накопленной стоимости $C(s)$ оптимальной сегментации до $s$. Цель – найти $s$, минимизирующее эту сумму.

Чтобы сделать алгоритм более эффективным, PELT включает шаг сокращения. Он основан на том, что накопленная стоимость $C(t)$ не убывает по мере увеличения $t$. Это позволяет исключить определенные точки изменения $s$ из рассмотрения, если добавление их приведет к увеличению накопленной стоимости в $t$.

Рассмотрим некоторые $s$ такие, что $0 \leqslant s \leqslant t$:

Это означает, что $s$ не является оптимальной точкой изменения при условии, что $s < t$, следовательно, $s$ не может быть оптимальной точкой для любого $S > t$, и ее можно не учитывать в вычислениях.

В данном исследовании используется отрицательная логарифмическая функция правдоподобия, которая является высоко эффективной, согласно исследованию Дж. Чена и А.К. Гупты [28].

В качестве штрафной функции мы будем использовать подобие байесовского информационного критерия (BIC), который рассматривается как один из классических подходов согласно Пикарду и др. [29] Используя BIC, мы устанавливаем параметры $\beta = \frac{1}{2}\log (n)$, где как правило n – это длина исходного набора данных, однако не всегда такая $\beta $ будет являться оптимальной.

Эта работа отличается от цитируемых тем, что количество точек изменения состояний заведомо неизвестно, и мы стремимся оценить его. Такой подход был представлен в [29], его суть заключается в том, что оптимальным значением является максимальное значение $K$, такое, что вторая производная функции правдоподобия принимает значение ниже заданного порога. Более подробное описание метода можно найти в источнике.

На рис. 3 представлен пример определения точек изменения с помощью белого шума.

7. РЕЗУЛЬТАТЫ И ВЫВОДЫ

Подходы с глубоким обучением и использование нейронных сетей получают все большее внимание, в том числе и при решении финансовых и экономических проблем [30, 31]. Инновационные методы также были применены и для калибровки моделей процентных ставок, и расчета цен на опционы [32–34].

В этом исследовании мы использовали многослойную модель LSTM для прогнозирования точек бифуркации. Двумя ключевыми параметрами модели являются “длина прогноза” – P и “окрестности точки изменения” – $\eta $. Первый параметр определяет продолжительность прогнозируемого периода, позволяя оценить надежность модели на различных горизонтах прогнозирования. Другой же определяет область, в которой происходит изменение состояния, нужно учитывать, что в случаях, когда отсутствуют четко определенные стационарные состояния, “точка изменения” может трактоваться как некоторая область или окрестность около определенной точки. Этот параметр позволяет точно задавать окрестности, тем самым придавая модели гибкость, задавая как более строгие, так и мягкие критерии.

Поскольку крайне важно оценить способность модели выявлять точки перехода, результаты будут оцениваться с использованием трех основных показателей: balanced accuracy, recall и precision. В следующих таблицах представлены значения метрик для разных наборов параметров. В каждой ячейке отображается значение отдельной метрики для различных параметров. Параметром верхнего уровня является длина прогнозирования (P), за которым следует разбивка по значениям параметра $\eta $.

В этом исследовании мы используем модель белого шума в качестве эталона из-за отсутствия автокорреляции, что означает, что модель даст наихудшие возможные результаты.

В аналогичном исследовании Кен Джо О и Ингу Хан применили нейросетевой подход к временному ряду процентных ставок, добившись относительно удовлетворительных результатов. Однако они отметили, что результаты модели можно было бы улучшить, особенно относительно шума и выбросов [35].

Основываясь на значениях точности (табл. 1), можно с уверенностью утверждать, что модели цветного шума демонстрируют хорошую эффективность в общих прогнозах, достигая почти 98% точности при прогнозировании на один период вперед как для розового, так и для красного шума.

Однако этот показатель немного искажает реальную ситуацию, так как классы данных не сбалансированы, точек перехода всегда будет меньше, чем в стационарных состояниях. Чтобы решить эту проблему, мы применяем метрику balanced accuracy. Как и ожидалось, модель белого шума демонстрирует почти полную неспособность обнаруживать изменяющиеся состояния. Однако модели с розовым и красным шумом по-прежнему показывают достойные результаты. Даже при прогнозировании на пять периодов вперед показатель остается на уровне около 75%.

Далее оценим, насколько хорошо модели определяют точки изменения, изучив показатели recall and precision (табл. 2). Заметим, что модели, обученные на цветном шуме, могут идентифицировать примерно 80% точек перехода. Однако это число значительно уменьшается при прогнозировании точек перехода на несколько периодов вперед, приближаясь к уровню модели с белым шумом при малых значениях $\eta $.

Значения для метрики precision остаются относительно стабильными, существенных отклонений при разных наборах параметров не наблюдается, что указывает на то, что модели с цветным шумом хорошо находят критические точки.

Стоит отметить, что параметр $\eta $ сильно влияет на точность определения точки перехода, на что указывает метрика recall, предполагая, что этот подход эффективен для неявно определенных переходных состояний.

8. ЗАКЛЮЧЕНИЕ

В этом исследовании было изучено влияние цветных шумов на точки разрыва в модели процентной ставки Васичека. Учитывая эффект корреляции, свойственный цветным шумам, мы рассмотрели появившиеся изменения в критических точках перехода между устойчивыми состояниями, а также оценили возможность их прогнозирования.

В исследовании реализована модель нейронной сети LSTM для обнаружения точек изменений в модели Васичека при разных наборах параметров. Результаты показывают, что модели цветного шума, в частности розового и красного, превосходят эталонную модель с белым шумом по всем ключевым показателям, демонстрируя высокую эффективность при обнаружении точек перехода. Эти результаты свидетельствуют о том, что использование цветных шумов может улучшить возможности прогнозирования при работе со стохастическими моделями, аналогичных модели Васичека, способствуя обнаружению значительных изменений в финансовых временных рядах.

Вклад статьи может быть описан в следующих выводах, которые были сделаны на основе этого исследования:

$ \bullet $ Цветной шум оказывает сильное влияние на точки бифуркации в моделях со стохастической составляющей

$ \bullet $ Из-за вариации автокорреляционных свойств на разных спектрах шума параметр signal to noise в модели изменяется с использованием описанных цветных шумов.

$ \bullet $ Экспериментальные результаты с использованием одной из классических нейросетевых моделей показали, что точки изменения могут быть предсказаны с высокой точностью в стохастических моделях под влиянием цветного шума.

$ \bullet $ На точность прогнозирования существенно влияют такие факторы, как шаг интегрирования в модели и окрестности точки разрыва.

$ \bullet $ Дальнейшие исследования в этой области включают использование более сложных статистических моделей, таких как модель Блэка-Шоулза. Не менее важным является проведение аналогичных экспериментов с использованием естественного шума, который может более явно отражать нестабильность финансовых временных рядов.

Результаты данной работы в дальнейшем могут использоваться для построения более узконаправленных прогнозных моделей, помогающих при настройке алгоритмов хэджирования, оценке опционов и снижении процентного риска.