Журнал высшей нервной деятельности им. И.П. Павлова, 2021, T. 71, № 5, стр. 583-590

ВВЕДЕНИЕ

Нейроны гиппокампа регистрируют то место, в котором находится животное (“клетки места”, “клетки решетки”, “place-”, “grid-cells”) и выстраивают траекторию движения к другому, невидимому отсюда месту, по координатам, вычисляемым относительно удаленных объектов (Poucet et al., 2004; Eichenbaum, 2017; Lisman et al., 2017; Майоров, 2018). Существующие модели функционального механизма гиппокампа в навигации можно разделить на две группы. В градиентных моделях выбор направления производится непосредственно во время движения по градиенту синаптических связей (Ponulak, Hopfield, 2013) или дофаминовому градиенту (Майоров, 2018). В моделях, основанных на предварительном планировании траекторий, клетки направления (“head direction cells”) функционально сопряжены с клетками места так, чтобы вызывать предварительную активацию (“preplay”) той последовательности клеток места, в которой они бы возбуждались при движении в данном направлении (Taube, 2007; Erdem, Hasselmo, 2012, 2014; Burak, 2014; Sanders et al., 2015; Shipston-Sharman et al., 2016). Физиологический механизм такого сопряжения пока точно не установлен.

В работе на примере простой нейронной сети с рекуррентными связями показано, как при использовании двунаправленной ассоциативной синаптической пластичности, основанной на взаимодействии AMPA- и NMDA-рецепторов в зависимости от постсинаптического потенциала, сигнал клеток направления приобретает способность активировать ту последовательность (траекторию возбуждения) клеток места, с которой он ассоциировался в предшествующем опыте. В результате сигналы разных клеток направления становятся указателями на разные траектории (пути) на карте.

МЕТОДИКА

В первом варианте модель состоит из 64 нейронов, разделенных на 3 непересекающиеся группы A, B, C по 21 нейрону в каждой (один оставался свободным). Во втором варианте – 192 нейрона, разделенных на 8 групп по 24. Остальные характеристики моделей полностью совпадают. Нейроны связаны друг с другом нормально распределенными по величине глутаматными (AMPAR + NMDAR) связями (w) с высокой концентрацией и долей NMDA-рецепторов в окончаниях и тормозными (g) связями. Возбуждающие связи локализованы и оканчиваются на разных дендритных ветках (рис. 1 (а)). Сигнал направления (φ) действует на все нейроны, как показано на рис. 1 (а), через относительно слабые глутаматные связи только с AMPA-рецепторами в окончаниях. Как видно из рис. 1 (а), матрица весов связей направляющего сигнала (${{{\mathbf{w}}}_{\varphi }}$) структурно идентична матрице рекуррентных межнейронных связей (${{{\mathbf{w}}}_{{\mathbf{r}}}}$) – каждому элементу матрицы ${{{\mathbf{w}}}_{{\mathbf{r}}}}$ соответствует элемент матрицы ${{{\mathbf{w}}}_{\varphi }}$ (как элементы 1 и 2 на рис. 1 (а)). Схема связей на рис. 1 (а) представляет собой упрощенный вариант вероятностной схемы связей (рис. 1 (б)), где только некоторые нейроны контактируют с данным B-нейроном (${{{\text{a}}}_{1}}$, ${{{\text{a}}}_{{\text{n}}}}$, ${{{\text{c}}}_{1}}$) и не со всеми ветками контактируют окончания направляющих связей. Связи от одного нейрона оканчиваются на разных дендритных ветках. Например, аксоны нейронов A₁, С₁ контактируют с нижней и верхней веткой нейрона B₁ (рис. 1 (а)) и с верхней и нижней веткой нейрона B_n (рис. 1 (б)). Синапсы любых двух групп нейронов в среднем одинаково удалены от сомы данного нейрона, что позволяет обойтись в определении модели одним уравнением интегратора с утечкой (1).

Рис. 1.

Принципиальная схема модели (а) представляет собой упрощенный вариант вероятностной схемы связей (б). (в) – функция синаптической пластичности в соответствии с уравнением (8). Веса связей изменяются только при значениях функции за пределами серой зоны (уравнения 9–11). Дополнительные пояснения в тексте.

Fig. 1. The schematic diagram of the model (а) is a simplified version of the probabilistic connection scheme (б). (в) – synaptic plasticity function according to equation (8). Link weights change only for function values outside the gray zone (equations 9–11).

В начале каждой пробы состояние нейронов инициировалось нормально распределенным случайным шумом. Каждая проба состояла из t шагов (интервалов), динамика активности в которых рассчитывалась функцией решения дифференциальных уравнений MATLAB ode45. Поведение нейронов описывается системой дифференциальных уравнений (в векторно-матричных обозначениях):

Условные обозначения: v – уровень активности (потенциал) нейрона, который без генерации потенциалов действия преобразуется в сигнал на выходе (r), пресинаптический для других нейронов; w > 0, g > 0 – величина возбуждающих и тормозных связей между нейронами; ${{{\mathbf{w}}}_{{\mathbf{r}}}}$, ${{{\mathbf{w}}}_{\varphi }}$ – веса межнейронных (рекуррентных) и направляющих связей; ${{{\mathbf{e}}}_{{\mathbf{r}}}}$, i – “синаптическое” возбуждение и торможение, пропорциональное количеству медиатора, выброшенного под влиянием r, более медленное снижение возбуждения по сравнению с торможением отражает длительность NMDA-компонента ВПСП; ${{e}_{\varphi }}$ – постоянное синаптическое возбуждение под влиянием сигнала направления φ; h – постактивационное торможение/посттормозное возбуждение; S – внешний сигнал, имитирующий действие входов, формирующих активность клеток места; P – функция пластичности (по (Shouval et al., 2010), с изменениями) c дополнительными ограничениями P⁺, P^– (рис. 1 (в)); P_r, P_φ – функции пластичности, действующие на AMPA-рецепторы межнейронных и направляющих связей. В соответствии с обозначениями, принятыми в MATLAB, в уравнениях 1, 7, 9–12 выражения в скобках, заключающих неравенства, принимают значение 1 при выполнении (обоих) неравенств, значение 0 в ином случае, & – знак логического умножения. В уравнении (1) межнейронное синаптическое возбуждение ${{{\mathbf{e}}}_{{\mathbf{r}}}}$ умножается на сумму матриц весов межнейронных и направляющих связей, это один из наиболее существенных элементов модели, разъясняемый в разделе “Результаты исследований”. (В уравнениях указаны те числовые коэффициенты, с которыми были получены данные, представленные на рисунках).

AMPA-компонент глутаматных связей характеризуется двунаправленной NMDA- и потенциал-зависимой пластичностью. При активации NMDA-рецепторов глутаматом эффективность активных AMPA-связей изменяется в зависимости от постсинаптического потенциала в соответствии с функцией пластичности P (уравнения 2–3, 8–12, рис. 1 (в)). NMDA-компонент остается постоянным. Направляющие φ-связи характеризуются локальной ассоциативной пластичностью. Под ассоциативностью понимается усиление эффективности слабых связей, не способных к самостоятельным изменениям, при совместной активации с более сильными связями (Mehta, 2004; Larson, Munkácsy, 2015). Точный механизм ассоциативности для каждого конкретного случая, по-видимому, не установлен. Здесь предполагается, что синапсы направляющих связей не имеют собственных NMDA-рецепторов. На каждом шаге активные ассоциативные связи усиливаются вместе – одновременно и однонаправленно с коллатеральными, оканчивающимися вблизи на той же ветке (например, 1 и 2 на рис. 1 (а)), депрессия ассоциативных связей происходит при более низком потенциале (уравнения 2, 3, 8–12, влиянием ВПСП изначально слабых направляющих связей на процесс обучения пренебрегаем). Вычисления производились в системе MATLAB, m-коды программ можно получить у автора.

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЙ

При обучении на выделенные группы нейронов последовательно подавался сигнал S(t), имитирующий действие входов, формирующих активность клеток места (рис. 2 (1)). Рисунки 2 (2) показывают движение фокуса возбуждения (светлые участки) под влиянием S в направлении ABCA (рис. 2 (а2)) или CBAC (рис. 2 (б2)). Характер и условия изменения межнейронных связей показаны на рисунках 2 (3–5). Например, при последовательном возбуждении A- и B-групп (рис. 2 (а3)) связи A→B^a и ассоциированные φ-связи усиливаются (рис. 2 (а5), черная сплошная), когда задний фронт (NMDA-компонент) возбуждающего синаптического сигнала из A (рис. 2 (а4), серая сплошная) совпадает в дендритном поле B^a с передним фронтом постсинаптического возбуждения нейронов группы B (черная штриховая). Это единственный интервал NMDA-зависимого усиления связей для дендритной ветки B^a. При таком направлении распространения возбуждения усиливаются связи A→B^a, B→C^b, C→A^c (рис. 2 (а5), черная сплошная, серые шипики на рис. 1 (а)) и ассоциированные с ними φ-связи (черные шипики). Совпадение коллатеральных ВПСП с постсинаптической деполяризацией (штриховые на рис. 2 (а4)) вызывает усиление внутригрупповых и ассоциированных с ними направляющих связей. Активация синаптических окончаний B-нейронов (рис. 2 (а4), серая штриховая) совпадает с торможением A-нейронов (черная сплошная), что вызывает ослабление B→A^b связей (рис. 2 (а5), штриховая) и ассоциированных с ними φ-связей (светлые шипики). Аналогично ослабляются C→B^c и A→C^a связи.

Рис. 2.

Динамика активности и изменения связей при возбуждении нейронов в последовательности ABCA (а) и CBAC (б). (1) – внешний сигнал S, активирующий группу A – сплошная линия, B – штриховая, C – пунктирная. (2, 3) – движение фокуса возбуждения (светлые участки). (4) – условия изменения связей, черные линии – постсинаптический потенциал, серые – пресинаптическое возбуждение, сплошные – A-нейроны, штриховые – B-нейроны. (5) – изменения весов связей. (6) – динамика связей при активации нейронов в последовательности CBAC (t = 500, не показано), ABCA ((a), t = 1000), CBAC ((б), t = 1000). Внутригрупповые связи – 1, ABCA-связи – 2, CBAC – 3. (7, 8) – воспроизведение исходной последовательности после обучения.

Fig. 2. Dynamics of activity and changes in connections upon excitation of neurons in the ABCA (а) and CBAC (б) sequence. (1) – external signal S, activating group A – solid line, B – dashed line, C – dotted line. (2, 3) – movement of the excitation focus (light areas). (4) – conditions for changing connections, black lines – postsynaptic potential, gray – presynaptic excitation, solid – A-neurons, dashed – B-neurons. (5) – changes in bond weights. (6) – dynamics of connections upon activation of neurons in the CBAC sequence (t = 500, not shown), ABCA ((а), t = 1000), CBAC ((б), t = 1000). Intra-group connections – 1, ABCA-connections – 2, CBAC – 3. (7, 8) – reproduction of the original sequence after training. Details in the text.

При перемене направления движения фокуса возбуждения на противоположное – CBAC – на фоне другого сигнала направления π (рис. 2 (б)) усиливаются связи С→B^с, B→A^b, A→C^a, внутригрупповые и ассоциированные с ними π-связи. Ослабляются связи A→B^a, B→C^b, C→A^c и ассоциированные π-связи. В то же самое время φ-связи на дендритных ветках A^c, B^a, C^b (рис. 1(а)) в отсутствие направляющего φ-сигнала остаются без изменения.

При чередовании движений в противоположных направлениях коллатеральные межгрупповые связи остаются на низком уровне, например, связи, которые усиливаются при движении в направлении ABCA (рис. 2 (а6), кривые 2), ослабляются при движении в противоположном направлении CBAC (рис. 2 (б6), кривые 2). Направляющие связи систематически усиливаются в направлении движения (например, связи φ→B^a в последовательности ABC, связи π→A^b в последовательности CBA) и ослабляются в противоположном направлении (например, φ→A^b, π→B^a). Усиливаются внутригрупповые коллатеральные и ассоциированные с ними направляющие связи (кривые 1 на рис. 2 (6)).

Обученная нейросетка воспроизводит последовательность в соответствии с направляющим сигналом без внешнего принуждения, S = 0 (рис. 2 (7, 8)). Поскольку межгрупповые связи (AMPA-компонент ) после обучения остаются слабыми, основным регулятором тока через NMDA-каналы межгрупповых связей становятся ВПСП ассоциированных направляющих связей, величина которых пропорциональна произведению постоянного синаптического возбуждения, вызванного сигналом направления, на матрицу весов, сформированную во время тренировки ${{{\mathbf{v}}}_{\varphi }} \propto {{e}_{\varphi }}{{{\mathbf{w}}}_{\varphi }}$. Величина тока через NMDA-канал, вызванного направляющим сигналом, на нисходящем участке вольт-амперной характеристики приблизительно пропорциональна произведению коллатерального синаптического возбуждения (${{{\mathbf{e}}}_{{\mathbf{r}}}}$), активирующего NMDA-рецепторы, на ${{{\mathbf{w}}}_{\varphi }}$-матрицу ${\mathbf{I}} \propto {{{\mathbf{e}}}_{{\mathbf{r}}}}{{{\mathbf{v}}}_{\varphi }} \propto {{{\mathbf{e}}}_{{\mathbf{r}}}}{{{\mathbf{w}}}_{\varphi }}$. Выражение для постсинаптического возбуждения в (1) можно приближенно записать как $\left( {{{{\mathbf{w}}}_{{\mathbf{r}}}} + {{{\mathbf{w}}}_{\varphi }}} \right){{{\mathbf{e}}}_{{\mathbf{r}}}}$ + ${{{\mathbf{w}}}_{\varphi }}{{e}_{\varphi }}$, где ${{{\mathbf{w}}}_{\varphi }}$ – выученная матрица, ${{{\mathbf{e}}}_{{\mathbf{r}}}}$, ${{e}_{\varphi }}$ – синаптическое возбуждение через коллатеральные и направляющие связи (рис. 1 (а)).

Учитывая высокую концентрацию NMDA-рецепторов в синапсах коллатеральных связей и большую длительность тока через NMDA-канал, прямым, не опосредованным NMDA-каналами коллатералей, влиянием направляющих ВПСП на постсинаптические нейроны ${{e}_{\varphi }}{{{\mathbf{w}}}_{\varphi }}$, как и при обучении, можно было бы пренебречь (рис. 2 (7)). Добавление к синаптическому сигналу постоянной составляющей ${{e}_{\varphi }}$, здесь равной половине максимального значения ${{{\mathbf{e}}}_{{\mathbf{r}}}}$, не влияет на направление и структуру, а только на частоту активности (рис. 2 (8)).

Поведение модели полностью сохраняется при увеличении числа нейронов без изменения параметров. На рис. 3 показана динамика связей при движении фокуса возбуждения под влиянием S в противоположных направлениях (рис. 3 (а, б)) и воспроизведение последовательной активации 8 групп нейронов после обучения (в отсутствие S, рис. 3 (в, г)).

Рис. 3.

Динамика связей при активации нейронов в последовательности HG…A (t = 1600, не показано), AB…H ((а), t = 1600), HG…A ((б), t = 1600), межгрупповые связи в направлении от A к H показаны черным, в противоположном направлении, от H к A – серым. (в, г) – воспроизведение последовательностей в отсутствие обучающего сигнала.

Fig. 3. Dynamics of connections upon activation of neurons in the HG…A sequence (t = 1600, not shown), AB…H ((а), t = 1600), HG…A ((б), t = 1600); intergroup connections in the direction from A to H are shown in black, in the opposite direction – in gray. (в, г) – reproduction of the original sequence after training.

ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ

Показано, как в нейронной сети с рекуррентными связями (этим похожей на поле CA3 гиппокампа) условный сигнал (подобный сигналу клеток направления в энторинальной коре) приобретает способность активировать ту из последовательностей, связанных внешним сигналом S(t) групп клеток (подобных последовательностям клеток места, связанных в аллоцентрической системе координат), которую он сопровождал в предшествующем опыте (“replay”/“preplay”). Запоминание и воспроизведение последовательностей основаны на двунаправленной NMDA-зависимой пластичности. Усиление связей происходит, когда задний фронт активации NMDA-рецепторов совпадает с передним фронтом постсинаптической деполяризации. Однако это усиление не сохраняется (стирается), когда фокус возбуждения распространяется в противоположном направлении, и не может использоваться для одновременного хранения многих последовательностей (траекторий).

Сохранение траекторий основано на локальной ассоциативной (кооперативной) пластичности (Mehta, 2004; Larson, Munkácsy, 2015) синапсов клеток направления на клетках места. Активные синапсы клеток направления изменяются только в ассоциации с изменениями коллатеральных связей на той же дендритной ветке. На каждом шаге изменения матрицы направляющих связей функционально эквиваленты изменениям матрицы рекуррентных связей. В отсутствие “своего” сигнала направляющие связи не меняются при перемене направления распространения волны возбуждения.

Учитывая стирание межнейронных связей при перемене направления движения фокуса возбуждения, можно было бы контрастировать структуру модели до полного разделения типов рецепторов по принадлежности к связям – только AMPA-рецепторы в направляющих связях, только NMDA-рецепторы в межнейронных. Во время обучения направляющие связи используют NMDA-рецепторы коллатеральных связей для изменения своей эффективности, при воспроизведении – для усиления постсинаптического тока в нейронах-мишенях.

В условиях фиксации потенциала величина тока на нисходящем участке вольт-амперной характеристики NMDA-рецептора приблизительно пропорциональна величине мембранного потенциала; в физиологических условиях деполяризация в области локализации NMDAR может вызывать генерацию NMDA-спайка (Antic et al., 2010; Brandalise et al., 2016), пропорционального числу NMDAR, связанных с глутаматом, т.е. величине синаптического притока по коллатеральным связям (${{{\mathbf{e}}}_{{\mathbf{r}}}}$). Если, например, при воспроизведении последовательности ABC возбуждаются нейроны группы B, то, согласно сделанным допущениям, φ-ВПСП на дендритной ветке C^b достигают порога генерации NMDA-спайка на основе рецепторов коллатеральных связей B→C^b, оканчивающихся на той же дендритной ветке (рис. 1 (а)). В группе A окончания коллатералей из B (на дендритной ветке A^b) не совпадают с окончаниями потенциированных φ-связей (черные шипики на рис. 1 (а)), а активность (плотность) собственных NMDAR, согласно допущению, пренебрежимо мала по сравнению с коллатералями.

Критическим условием для предложенного здесь механизма является индукция пластичности только в активных AMPA-синапсах. Можно предложить другой вариант, при котором слабые направляющие связи изменяются в зависимости от собственных NMDA-рецепторов, условие активации которых – генерация NMDA-спайка (Antic et al., 2010; Brandalise et al., 2016) при совпадении коллатерального пре- и постсинаптического возбуждения. В таком варианте генерация NMDA-спайка в коллатеральных связях становится критическим событием как для индукции ассоциативной пластичности, так и для механизма воспроизведения последовательностей по условному направляющему сигналу.

ЗАКЛЮЧЕНИЕ

Показано, как в рекуррентной нейронной сети условный сигнал от “клеток направления” приобретает способность активировать ту последовательность нейронов (“клеток места”), с которой он ассоциировался в прошлом опыте (“replay”). 1) Нейроны модели связаны глутаматными синапсами с высокой концентрацией и долей NMDAR, УС действует только через синапсы с AMPAR. Матрица связей УС структурно идентична матрице рекуррентных связей (каждому коллатеральному синапсу на дендритной ветке соответствует расположенный рядом синапс УС). 2) Коллатеральные синапсы характеризуются двунаправленной NMDA-зависимой пластичностью. Усиление связей происходит, когда задний фронт синаптического возбуждения от предыдущих в порядке активации нейронов совпадает с передним фронтом деполяризации последующих. 3) Однако это усиление не сохраняется (стирается), когда последовательность проигрывается в противоположном направлении. 4) Активные синапсы УС направления изменяются только в ассоциации с изменениями коллатеральных связей на той же дендритной ветке. На каждом шаге изменения матрицы направляющих связей функционально эквиваленты изменениям матрицы рекуррентных связей. В отсутствие “своего” сигнала направляющие связи не меняются. 5) В результате УС приобретает способность потенциировать проводимость NMDA-каналов (“в пределе” генерировать NMDA-спайки) рекуррентных связей в ассоциированной последовательности. Разные УС становятся указателями на разные последовательности.

Как этот механизм помогает найти скрытую мишень в “Водном лабиринте Морриса”? Когда крыса в обучающей пробе в хорошо знакомом бассейне находит скрытую платформу, формируется ассоциация между клетками места в гиппокампе и дофаминовыми нейронами среднего мозга. Если в тестовом испытании сигнал направления головы (в аллоцентрических координатах) активирует последовательность клеток места на карте, достигающую платформы, “клетки платформы” активируют дофаминовые нейроны, а те – движение в соответствии с направлением головы.

Благодарю И.Е. Мысина (ИТЭБ РАН) и рецензентов журнала за внимательное прочтение рукописи статьи и конструктивные замечания.