Журнал высшей нервной деятельности им. И.П. Павлова, 2022, T. 72, № 2, стр. 159-186

ПРОЕКЦИОННЫЕ НЕЙРОНЫ: D1- И D2-ЭКСПРЕССИРУЮЩИЕ КЛЕТКИ

В первую очередь мы рассмотрим работы, направленные на установление особой роли в двигательном научении проекционных нейронов, экспрессирующих D1- или D2-рецепторы, часто для краткости называемых нейронами прямого (ПП) и непрямого пути (НП) соответственно. В экспериментальных условиях, не предусматривающих целенаправленного обучения животных, результатами различных воздействий на нейроны прямого и непрямого пути являются, как правило, противоположные двигательные эффекты, что в целом свидетельствует в пользу классических представлений о содействии движению со стороны прямого пути БГ и о подавлении тенденции к выполнению движения – со стороны НП; с другой стороны, регистрация клеточной активности или ее коррелятов почти без исключений демонстрирует очень сходные паттерны активности двух путей в связи с движением (Bariselli et al., 2019, Ивлиева, 2021). Одно из самых первых исследований роли двух путей стриатума в научении было осуществлено Кравицем и соавт. (Kravitz et al., 2012), они оптогенетически билатерально стимулировали (1-секундным пульсом постоянного света) нейроны прямого или непрямого пути дорзомедиального стриатума в момент приближения животного к емкостному датчику и показали повышение числа контактов с датчиком в случае активации ПП и, наоборот, снижение – при активации НП, и сделали вывод о том, что стимуляция ПП подкрепляет, а непрямого – служит наказанием. Позже Виченте и соавт. в сходной поведенческой ситуации в ответ на нажатие животным педали стимулировали (уже световыми импульсами) нейроны дорзолатерального стриатума и сделали другие выводы на основании своих данных: они предположили, что стимуляция обоих путей является вознаграждающей, но подкрепляющий эффект проявляется по-разному, что интерпретируется авторами как подкрепление различных стратегий действия, в частности, более генерализованной стратегии при стимуляции нейронов НП (Vicente et al., 2016).

Тему ключевой роли активности обоих путей в процессах подкрепления/наказания интересно развивают Йттри и Дадман (Yttri, Dudman, 2016). В их исследовании мышь с фиксированной головой самостоятельно инициировала перемещение джойстика для получения капли вознаграждения; короткая (сопоставимая по времени с движением) стимуляция нейронов дорзомедиального стриатума осуществлялась приблизительно в одной трети самых быстрых движений в момент превышения порога скорости движения, установленного экспериментаторами; они показали, что подобная стимуляция ПП повышает скорость движений, а НП – снижает, и, что важно, авторы убедительно аргументируют, что это влияние осуществляется посредством механизмов научения, а не через прямое влияние на исполняемое движение. В работе Бахурина и соавт. (Bachurin et al., 2020) исследовались лизательные движения в условиях рефлекса на время и также показаны разнонаправленные эффекты стимуляции нейронов обоих путей вентролатерального стриатума на инициацию движения, но речь здесь идет уже о непосредственном влиянии на движение. Таким образом, в этих исследованиях с применением избирательной стимуляции ПП и НП в явном виде прослеживаются разнонаправленные эффекты активации D1- и D2-экпрессирующих нейронов в разных отделах стриатума, но также выявляется неоднозначность механизмов таких эффектов.

Пионерское исследование активности нейронов прямого и непрямого пути дорзального стриатума при инструментальном научении было проведено Куи и соавт. (Cui et al., 2013) на мышах, научившихся получать вознаграждение после 10 нажатий произвольно на правую или левую педаль, осуществляемых спонтанно. Это позволило авторам оценить активность нейронов прямого и непрямого пути при сходных по физическим параметрам движениях, совершаемых в различающихся мотивационных состояниях (например, правый поворот за едой к кормушке и правый же поворот от кормушки к педали). Они обнаружили, что нейроны обоих путей демонстрируют сходную картину кратковременной активации в период инициации инструментального движения. Подобная активация нейронов обоих путей предшествовала инициации поворота тела животного (рис. 1(а)). Вскоре было опубликовано исследование Исомуры и соавт. (Isomura et al., 2013), которые различали нейроны прямого и непрямого пути дорзолатерального стриатума крыс с помощью другого метода (применялись юкстаклеточное мечение и визуализация специфической м-РНК); они показали, что при самостоятельной инициации животным инструментального движения (притягивание рычага) активность нейронов обоих путей приурочена к моменту инициации и модулируется вознаграждением сходным образом, что противоречило их первоначальной гипотезе. Также они обращают внимание на небольшую тенденцию для нейронов двигательного типа предположительно НП к большей продолжительности по времени нарастания от начала изменения до пика активности по сравнению с D1-экспрессирующими нейронами. Таким образом, в условиях выученных движений наблюдается все тот же парадокс, когда стимуляция нейронов прямого и непрямого пути оказывает, как правило (но см. Vicente et al., 2016), разнонаправленное действие, а результаты регистрации активности свидетельствуют об очень сходной динамике активности этих двух групп нейронов.

Рис. 1.

Схематическое представление или реконструкция данных о спайковой активности нейронов прямого (справа) и непрямого (слева) пути стриатума в разных экспериментальных ситуациях. Вертикальная пунктирная линия – время действия условного стимула. Отметки на оси абсцисс – инструментальные движения. (а) – Однообразная активация нейронов ПП и НП при пищевом инструментальном УР по данным Cui et al., 2013. (б) – Реконструкция данных Jin et al., 2014, когда животное совершает быструю серию из четырех нажатий на педаль. (в) – Активность нейронов ПП и НП в ответ на условный стимул при наличии двигательной реакции (сплошная линия) и при ошибочном пропуске (пунктирная линия) (по данным Sippy et al., 2015). (г) – Почти исключительная активация только нейронов НП в ответ на условный стимул (по данным Owesson-White et al., 2016). На этом фрагменте (в отличие от всех других) – справа представлена активность нейронов НП. (д) – Активность нейронов ПП больше приурочена к моменту движения, а нейронв НП – к межстимульнуму интервалу (реконструкция данных Sheng et al., 2019). (е) – При наличии и в отсутствие вознаграждения нейроны прямого и непрямого пути ведут себя по-разному (по данным Nonomura et al., 2018). Пунктиром обозначена активность при неподкрепленных движениях. (ж) – Только нейроны НП активируются преимущественно при требуемой смене педали внутри серии нажатий (реконструкция по данным Geddes et al., 2018). (з) – Активность нейронов ПП приобретает тенденцию к опережению активности нейронов НП при формировании привычки (по данным O’Hare et al., 2016).

Fig. 1. Schematic representation or reconstruction of data on the spike activity of neurons in the direct (right) and indirect (left) striatum pathways in different experimental situations. The vertical dashed line is the initiation of the conditioned stimulus. The marks on the abscissa are instrumental movements. (a) – Uniform activation of neurons of direct and indirect pathways in food instrumental UR according to Cui et al., 2013. (б) – Reconstruction of the data of Jin et al., 2014, when the animal makes a quick series of four pedal presses. (в) Activity of neurons of direct and indirect pathways in response to a conditioned stimulus in the presence of a motor response (solid line) and in the presence of an erroneous omission (dashed line) (according to Sippy et al., 2015). (г) – Almost exclusive activation of only neurons of indirect pathway in response to a conditioned stimulus (according to Owesson-White et al., 2016). In this fragment (unlike all others), the activity of NP neurons is shown on the right. (д) – The activity of the neurons of direct pathways is more confined to the movement, and the activity of the neuron of indirect pathways – to the interstimulus interval (data reconstruction by Sheng et al., 2019). (е) – In the presence and in the absence of reward, neurons in the direct and indirect pathways demostrate different activity (according to Nonomura et al., 2018). The dotted line indicates the activity with unrewarded movements. (ж) – Only neurons of indirect pathways are activated predominantly with the required change of the lever within a series of presses (reconstruction according to the data of Geddes et al., 2018). (з) – The activity of neurons of direct pathways tends to outstrip the activity of indirect pathway neurons during habit formation (according to O’Hare et al., 2016).

Освоение новых простых действий, приводящих к вознаграждению, индуцировало у мышей, по наблюдению Шэн и соавт., пластичность как в D1-, так и в D2-экспрессирующих нейронах (главным образом в ДМС), но они показали, что эти изменения были разнонаправленными: после обучения отношение AMPA/NMDA повысилось у D1- и снизилось у D2-экспрессирующих проекционных нейронов (Shan et al., 2014).

А при выработке реакции избавления на начальной стадии потенциировались входы к D2-экспрессирующим нейронам дорзального стриатума, на стадии же сформированной реакции эта потенциация нивелировалась, но усиливались входы к D1-эспрессирующим нейронам (Diao et al., 2021).

В поисках специфической роли нейронов прямого и непрямого пути стриатума в организации движения Джин и соавт. в продолжение начатой ранее работы (Jin, Costa, 2010) регистрировали активность клеток дорзального стриатума, теперь идентифицируя их посредством оптогенетической стимуляции, при требовании к животным как можно более быстро выполнить последовательность из четырех нажатий на педаль (Jin et al., 2014); они обнаружили некоторые различия активности в связи с инициацией и завершением последовательности: в то время как нейроны ПП приблизительно поровну реагировали и в начале и в конце последовательности нажатий, активность нейронов НП была больше приурочена к началу последовательности, также исследователи показали преобладание торможения разряда на протяжении выполнения мышью всей двигательной последовательности в активности нейронов НП и, напротив, устойчивую активацию нейронов ПП (рис. 1(б)).

Текуапетла и соавт. (Tecuapetla et al., 2016) исследовали, как относительно кратковременные строго приуроченные к определенной фазе поведения оптогенетические влияния на активность нейронов прямого и непрямого пути дорзального стриатума скажутся на осуществлении спонтанного инструментального условнорефлекторного поведения (в режиме подкрепления последовательности из восьми нажатий (fixed ratio 8)). Они показали, что пятисекундная активация кратковременными световыми импульсами нейронов ПП при переходе мыши от кормушки к педали увеличивает время подхода к рычагу за счет остановки животного в момент стимуляции, а активация нейронов НП приводит к прекращению следования к рычагу и часто – к отходу от месторасположения педали и кормушки. Примечательно, что и совместное, и осуществленное по отдельности торможение обоих путей постоянно действующим светом также приводило к увеличению времени инициации последовательности нажатий. Аналогичная по параметрам активация в момент первого из серии нажатия на педаль приводит в случае нейронов ПП к увеличению числа нажатий, а нейронов НП – к отказу от нажатий, и также нередко – к выходу из зоны расположения педали и кормушки (интересно, что торможение нейронов НП оказывает тот же эффект). Авторы делают вывод о необходимости совместной комплементарной активности обоих путей для нормального осуществления движения и не считают избыточное число нажатий на рычаг при активации нейронов ПП следствием процессов самостимуляции.

Более сложная последовательность спонтанно инициируемых нажатий на педали была выбрана для обучения животных в работе Геддес и соавт. (Geddes et al., 2018): от мышей требовалось выполнить последовательно сначала два нажатия на левую педаль, а затем – два нажатия на правую, после чего они получали вознаграждение у противоположной стенки камеры; при обучении животных такой гетерогенной двигательной последовательности авторы надеялись подступиться к изучению роли прямого и непрямого в пути в организации двигательной иерархии. Им удалось показать, что в инициации всей последовательности в целом большую роль играют нейроны ПП стриатума, а при переключении с одной подпоследовательности (два нажатия на левую педаль) на другую (два – на правую) существенно большую активность проявляют нейроны НП. После разрушения D1- или D2-экпрессирующих нейронов выполнение хорошо предварительно выученной последовательности сильно ухудшалось, причем двустороннее разрушение нейронов ПП приводило к неспособности правильно начать последовательность: животные преимущественно нажимали на педаль, предшествующую получению вознаграждения, а двустороннее разрушение нейронов НП нарушало своевременное переключение с левой педали на правую. Подобно ранее упомянутому исследованию Текуапетлы, в этой работе также исследовалось влияние короткой (значительно более короткой у Геддес и соавт. (Geddes et al., 2018)) оптогенетической стимуляции проекционных нейронов стриатума, строго приуроченной к определенному моменту поведения, в данном случае исследователи выясняли последствия активации после каждого по отдельности нажатия на педаль в разных попытках. Обнаружено, что стимуляция нейронов ПП приводит к вставкам дополнительных нажатий в подпоследовательности, а стимуляция нейронов НП прекращает одну подпоследовательность, не изменяя другой (рис. 1 (ж)).

Более естественна для животного ситуация, когда вместо набора дискретных коротких движений выполняется непрерывная последовательность плавно сменяющих друг друга движений. Лопец-Хуэрта и соавт. (Lopez-Huerta et al., 2021) исследовали влияния оптогенетических воздействий на нейроны прямого и непрямого пути в ипси- и контралатеральном дорзальном стриатуме при выполнении мышью требующего существенной ловкости движения доставания приманки через щель. Они показали, что стимуляция и торможение активности D1- и D2- экспрессирующих нейронов в разных полушариях по-разному влияют на выполнение движения, однако интерпретация данных в отношении специфики этого влияния представляет определенную сложность из-за того, что использованная ими продолжительная (и постоянным светом) стимуляция одного большого пула нейронов не вполне адекватна поведенческой ситуации быстро меняющейся последовательности движений, которую животное совершает для доставания пищевого комка.

Определенные различия в активности D1- и D2-экпрессирующих нейронов удалось выявить и Сиппи и соавт. (Sippy et al., 2015) в довольно простой поведенческой ситуации. Ими был использован условный стимул – кратковременное (1 мс) отклонение вибриссы, если мышь в ответ на него в течение одной секунды начинала лизательные движения, она получала каплю воды. Исследователи измеряли мембранный потенциал клеток дорзолатерального стриатума и обнаружили, что нейроны ПП реагируют на стимуляцию вибриссы более крутым нарастанием мембранного потенциала по сравнению с нейронами НП. Также они показали, что короткая оптогенетическая стимуляция нейронов ПП может наравне со стимуляцией вибрисс у обученных животных вызывать лизательные движения. Интересно, что в случае невыполнения животным движения на стимул реакция нейронов ПП сохранялась, в отличие от реакции нейронов НП (рис. 1 (в)).

Овессон-Уайт и соавт. прибегли к поиску специфики участия D1- и D2-экспрессирующих нейронов вентрального стриатума в инструментальном поведении с помощью мультимодального сенсора, позволившего им быстро в одной и той же точке отслеживать динамику концентрации ДА, регистрировать спайковую активность клеток, а также определять экспрессируемые этими клетками рецепторы ДА (Owesson-White et al., 2016). Они обнаружили, что в ответ на звуковой условный стимул, который предвещает появление через две секунды педали для самостимуляции, активируются преимущественно D2-экспрессирующие нейроны; также они показали, что среди клеток, активность которых приурочена к моменту нажатия на педаль, присутствуют оба типа нейронов (рис. 1 (г)).

Другой подход к решению этой же проблемы применяют Ольденбург и Сабатини (Oldenburg, Sabatini, 2015). Их интересовала активность нейронов первичной моторной коры в ответ на активацию нейронов прямого и непрямого пути в дорзальном стриатуме, и они применяли длительную оптогенетическую стимуляцию (постоянным светом в стриатуме); у бодрствующих животных с закрепленной головой регистрировали активность нейронов коры в фоне и при выполнении животным инструментального движения в ответ на короткий звуковой стимул. Они делают вывод о том, что классическая модель подтверждается их данными, однако, они также показали, что стимуляция нейронов НП опосредует кратковременное повышение активности некоторой совокупности клеток коры в самом начале стимуляции. Особое же внимание они обращают на результаты исследования активности нейронов моторной коры в связи с инструментальным движением: а именно на то, что модуляция корковой активности со стороны БГ минимальна в период совершения движения, что выраженность активации в связи с инструментальным движением на фоне стимуляции непрямого пути возрастает, а прямого – снижается, и что при этом стимуляция ПП преимущественно модулирует разряд нейронов, которые активны в связи с движением, чего нельзя сказать о стимуляции НП, скорее можно отметить, что на фоне стимуляции НП изменяется подмножество клеток, реагирующих на тон в ситуации успеха: стирается реакция у одних, появляется у других (Oldenburg, Sabatini, 2015).

Шенг и соавт. (Sheng et al., 2019) на протяжении нескольких дней регистрировали активность одного и того же ансамбля нейронов дорзолатерального стриатума по ходу формирования инструментального рефлекса, когда мыши в ответ на звуковой стимул должны были передней лапой толкнуть рычаг для получения капли воды; от животных требовалось воздерживаться от движения в межстимульный интервал, т.к. спонтанное движение в этот интервал приводило к пролонгированию времени до следующего стимула. Они обнаружили, что по ходу стабилизации инструментального поведения параллельно формируется и более стабильный ансамбль клеток, сохраняющих общую картину паттерна активности на протяжении дней, при этом нейроны непрямого пути (выявляемые у D2-Cre-мышей, а не у A2a-Cre, что в последние годы делается редко, т.к. при этом оказываются задействованными и холинергические интернейроны) преимущественно активны в межстимульный период, когда нужно воздерживаться от движения, а нейроны прямого пути преимущественно активируются в период инструментального движения; когда же двигательная задача изменяется, например, когда меняется направление отклонения рычага, резко преобразуется и картина активности всего ансамбля нейронов (рис. 1 (д)). Данные по хемогенетическому подавлению активности исследуемых типов нейронов подтвердили данные регистрации о причастности нейронов прямого пути к инициации инструментального движения, а непрямого – к подавлению межстимульных реакций. К сожалению, стройность построения несколько расстраивает то обстоятельство, что в аналогичных условиях в варианте эксперимента с другими последующими изменениями двигательной задачи, картины активации ансамблей D1- и D2-экспрессирующих нейронов перед сменой задачи практически неразличимы. Аналогичная стабилизация нейронных ансамблей по мере научения была продемонстрирована и в условиях классического обусловливания (Shin et al., 2020).

Некоторая надежда на разрешение парадокса одновременной активации двух противоположно себя проявляющих при стимуляции путей возникает в связи с исследованием Нономуры и соавт. Они также показали одновременную активацию D1- и D2-экспрессирующих нейронов дорзомедиального стриатума в ответ на запускающий движение стимул, но в отношении реакции на вознаграждение показали отчетливые различия в их активности (Nonomura et al., 2018). В этом исследовании животное (мышь) должно было тянуть либо толкать передней лапой рычаг в условиях четко структурированной посредством условных стимулов (пускового стимула и сигнала обратной связи) задачи с вероятностным вознаграждением и периодическим переключением без предупреждающего сигнала режимов вознаграждения для инструментальных движений. Они показали, что нейроны ПП преимущественно активируются в ответ на вознаграждение и проявляют тенденцию к снижению активности в отсутствие вознаграждения, а нейроны НП, напротив, активируются, когда звучит сигнал, означающий отмену вознаграждения (рис. 1 (е)), также активность последних коррелирует не только с текущим, но и с предыдущим отрицательным результатом инструментальной реакции, и более того – с последующим поведенческим выбором. Также они показали, что оптогенетическая активация стриатных проекций прямого и непрямого пути, начинающаяся вскоре после начала звучания сигнала о наличии или отсутствии вознаграждения (время стимуляции подбиралось по принципу соответствия естественной активности, установленной в уже упомянутых экспериментах с регистрацией), повышает вероятность переключения на другое движение в случае активации НП, и несколько снижает при стимуляции ПП. Наблюдения о разнонаправленной активности нейронов прямого и непрямого пути в ответ на сигнал о наличии или об отмене награды в некоторой степени согласуются с наблюдениями Шина и соавт. (Shin et al., 2018) о противоположной динамике активности этих типов нейронов ДМС в связи с ценностью вознаграждения при классическом обусловливании, однако они не согласуется с выводами Исомуры и соавт. (см. выше), сделанными на основе данных более близкого по дизайну исследования инструментального УР с регистрацией активности нейронов более латеральной области дорзального стриатума, что может быть причиной расхождений. Важно не рассматривать эти наблюдения в отрыве от условий поведенческой задачи, в которой они были получены, и, в частности, особое значение для выявления таких закономерностей может иметь присутствие переключения без предупреждения в экспериментальной процедуре у Нономуры (Nonomura et al., 2018). Согласно Шин и соавт. нейроны НП вносят более весомый вклад в поведенческую адаптацию в зависимости от текущего результата (Shin et al., 2018), и, возможно, этот вклад становится более значимым, если в поведенческой задаче присутствует переключение. Близкие заключения были сделаны в исследовании на приматах на основании фармакологических воздействий на D1- и D2-рецепторы (Ueda et al., 2017).

Еще больше усложняют ситуацию результаты работы Ксяо и соавт. (Xiao et al., 2020): в то время как данные большинства исследований, допуская разные интерпретации активности нейронов НП, вполне определенно подтверждают участие нейронов прямого пути в содействии движению, этот коллектив авторов делает вывод о том, что активация генетически предопределенной популяции D1-экспрессирующих нейронов стриосом дорзального стриатума подавляет движение и действует как “негативное подкрепление” в ситуациях предпочтения места и выбора поилки.

Четкое разделение на ПП и НП в мозге приматов – гораздо более сложная и этически сомнительная задача, однако, особенности связей определенных регионов стриатума позволяют сделать некоторые выводы о специфике функционирования двух путей. Так, в отношении задней части хвостатого ядра анатомические исследования показали, что ее нейроны очень локально и плотно проецируется на каудодорзолатеральную область ретикулярной части SN и каудальновентральный бледный шар, который также локально проецируется на каудолатеральную часть ретикулярной части черного вещества (Kim et al., 2017). Электрофизиологические исследования подтвердили, что эти связи являются тормозными и представляют собой прямой путь (Yasuda, Hikosaka, 2015) и непрямой путь (Kim et al., 2017). Исследования этих регионов показали, что “плохие” (не вознаграждаемые) объекты кодируются нейронами непрямого пути, тогда как реакции на “хорошие” объекты регистрируются преимущественно в активности нейронов прямого пути (Kim et al., 2017), и в соответствии с классическими представлениями о функциях двух путей, активность нейронов стриатума в ответ на “плохие” объекты приводит к торможению саккад к ним, а активация в ответ на “хорошие” объекты, наоборот, запускает саккады.

В целом исследования активности двух популяций проекционных нейронов стриатума при вновь выученных движениях выявляют те же проблемы, которые были сформулированы по итогам обзора исследований движений общего поведенческого репертуара (Ивлиева, 2021): более или менее одновременную активацию нейронов обоих путей во время движения при том, что эффекты однообразных влияний (стимуляции или торможения) оказываются разнонаправленными для двух путей. Однако данные по научению несколько более разнообразны, и за некоторой их пестротой угадывается нечто общее. В частности, возникает впечатление воспроизводимости темы участия нейронов непрямого пути в поведенческом переключении: Виченте и соавт. отмечают более генерализованную двигательную стратегию при вознаграждающей стимуляции нейронов НП (Vicente et al., 2016), в исследовании Текуапетлы и соавт. активация нейронов непрямого пути приводила к прекращению текущих действий и к отказу от выполнения последующих двигательных элементов серии, а также нередко – к выходу из зоны расположения педали и кормушки (Tecuapetla et al., 2016); Геддес и соавт. отмечают выраженную активность нейронов именно непрямого пути при требуемом в процедуре переходе от одной педали к другой (Geddes et al., 2018); продемонстрированная активация непрямого пути в исследовании Овессон-Уайт (Owesson-White et al., 2016) согласуется с переходом животного в ответ на УС к педали для самостимуляции. Наконец, участие нейронов НП в поведенческом переключении находится в фокусе работы Нономуры и соавт. (Nonomura et al., 2018) и Уеды и соавт. (Ueda et al., 2017). Не противоречат этому особенности вовлечения нейронов моторной коры в двигательный ответ при стимуляции нейронов прямого и непрямого пути в работе Ольденбург и Сабатини (Oldenburg, Sabatini, 2015).

В заключение этого подраздела упомянем работу, в которой предметом исследования было инструментальное научение, а основные результаты получены ex vivo (O’Hare et al., 2016): сначала у животных вырабатывали привычку нажимать на педаль, потом их умерщвляли, срезы мозга обрабатывали, чтобы заполнить клетки индикатором кальция, после этого на них изучали ответы нейронов стриатума на электрическую стимуляцию коры. Результаты оказались довольно интересными: авторы утверждают, что определили особенности, которые значимо коррелируют с поведением по привычке в каждом индивидуальном случае. Так, привычное поведение коррелирует с усилением корковых связей обоих путей дорзолатерального стриатума, а также с тенденцией к более ранней активации нейронов ПП по сравнению с нейронами НП (рис. 1 (з)). Авторы считают, что “стриатум оказывает широкие, специфичные для каждого пути модулирующие воздействия на входящую активность, преобразуя сформированное двигательное поведение в привычку”. Представляется почти невероятным, что такие выводы можно сделать на основе изучения срезов. Но в отношении данной работы сложности с интерпретацией данных могут возникнуть у читателя еще до анализа манипуляций исследователей со срезами, а именно на стадии оценки методов научения. Мы выделили курсивом слово “привычка”, которое основательно закрепилось в исследованиях роли стриатума в научении, и на нем надо остановиться отдельно. Это понятие активно используется в рамках широко распространенной концепции о дихотомии процессов научения с подкреплением: речь идет о разделении инструментального поведения на так называемые целенаправленное поведение и поведение по привычке. Предполагается, что в первом случае поведение направляется целью – последующим получением награды или другим благоприятным изменением среды, второе – предшествующими движению стимулами.

СТРИАТУМ И ПРИВЫЧКА

НАВЫК И СТРИАТУМ

Деление инструментальной условнорефлекторной деятельности на произвольную и автоматизированную является лейтмотивом исследований Хикосаки с коллегами, проведенных главным образом на обезьянах (Kim, Hikosaka, 2015). Такое деление во многом совпадает с обсуждавшейся выше дихотомией “целенаправленное поведение – поведение по привычке”, вплоть до разделяемых областей стриатума, но и имеет существенные отличия (Garr, Delamater, 2019), а также сопряжено со своими сложностями. Так, например, в своем обзоре Ким и Хикосака (Kim, Hikosaka, 2015) приводят список свойств, которые в совокупности отличают произвольные действия от автоматизированных: обучение им происходит быстро, осуществляются они значительно медленнее, часто с ошибками в неизменных условиях, направляются преимущественно под контролем зрения на основании пространственного взаимного расположения тела, его частей и целевых объектов, в меньшей степени зависят от исполнительного органа (например, могут почти одинаково выполняться правой и левой рукой/лапой), они не запоминаются надолго, произвольные действия осуществляются осознанно.

Рассмотрим исследование, авторы которого называют формируемое поведение двигательной привычкой и подтверждают это результатами тестирования в условиях угашения после обесценивания вознаграждения (Rueda-Orozco, Robbe, 2015). Они обучали крыс входить в зону получения вознаграждения на тредбане не раньше заранее предопределенного времени после начала его движения, обучение занимало много времени (порядка ста сессий с не менее чем 40 попытками), в результате животное освоило стереотипный двигательный паттерн, который удовлетворяет проверке на привычку. Было показано, что только после длительного обучения активность нейронов ДЛС тесно коррелирует как со скоростью, так и с положением животного. Также авторы приводят следующее наблюдение: “Ожидаемый коррелят выполнения по привычке состоит в том, что после случайной ошибки опытные животные немедленно корректируют свои показатели при следующем испытании… Эта немедленная адаптация поведения нарушалась после инъекций мусцимола. В целом после нарушения активности нейронов ДЛС мусцимолом, способность животных выполнять последовательность была сохранена, но исполнение стало очень вариабельным. Эта повышенная изменчивость была связана с трудностью животных в том, чтобы бежать с правильной скоростью в нужное время и с нарушением корректировки после неправильных попыток”. Это замечание предполагает отсутствие ригидности изучаемой “двигательной привычки”, как минимум, в определенных аспектах. И вероятно, в данном случае более уместно говорить о навыке.

Обучая крыс на ускоряющемся ротороде, Йин и соавт. показали, что в результате упрочения навыка потенциируются преимущественно возбудительные входы к нейронам непрямого пути ДЛС, в то время как выработанное поведение начинает меньше зависеть от активности D1-экспрессирующих нейронов ПП (Yin et al., 2009). Зоммер и соавт. выявили изменения в уровне связывания D1-рецепторов в дорзомедиальном стриатуме в самом начале формирования навыка, а D2-рецепторов – в дорзолатеральном стриатуме после завершения выработки (Sommer et al., 2014); а Дюрие и соавт., разрушая D1- или D2-экспрессирующие нейроны дорзального стриатума до обучения или после, показали значительно более тяжелые последствия разрушения первых: животные с устранением D1-экспрессирующих нейронов не обучались и не проявляли тенденции к восстановлению навыка, если были научены до воздействия, животные с поражением D2-экспрессирующих нейронов обучались значительно медленнее, но к концу периода обучения приближались к уровню выполнения задачи контрольными животными, а при разрушении после обучения их показатели довольно быстро восстанавливались (Durieux et al., 2012). Более локальные разрушения выявили следующую специфику: выработка навыка существенно замедляется при разрушении D1-экспрессируюх нейронов ДЛС, а разрушение D2-экспрессирующих нейронов ДМС существенно сказывается на результатах выполнения задачи только в первый день обучения. Изучение с помощью волоконной фотометрии динамики входов из ассоциативных и моторных областей коры соответственно в ДМС и ДЛС показало, что эти две кортикостриатные подсистемы по-разному вовлечены в формирование навыка: Купфершмидт и соавт. показали (Kupferschmidt et al., 2017), что в первый день обучения на ротороде моторные области вовлекаются сразу, а включенность ассоциативных областей достигает пика к концу тренировки, вскоре участие ассоциативных областей снова уменьшается, при этом была продемонстрирована отчетливая связь между скоростью научения и темпом демобилизации ассоциативных входов в ДМС. Эти данные в целом свидетельствуют в пользу включения обоих регионов дорзального стриатума на начальном этапе освоения навыка и последующего постепенного развития автономии сенсомоторного звена по мере консолидации навыка, возможно, вплоть до автономии сенсомоторной коры (Ashby et al., 2007), что могло бы согласовать некоторые противоречия в результатах. Такой вывод подтверждается и последними данными на человеке (Pinsard et al., 2019; Choi et al., 2020).

Нестандартный подход применяют Накамура и соавт. (Nakamura et al., 2017): они использовали моторизованный вращающийся барабан, двигаясь вперед внутри которого животное могло достичь места получения питьевого вознаграждения, шагать оно должно было по ступенькам, расстояние между которыми и паттерн их чередования изменялись экспериментаторами. Было показано, что такое изменение порядка ступеней после успешного освоения животным предыдущего паттерна в первом же опыте приводит к значительному увеличению c-Fos-положительных нейронов как в ДЛС, так и в ДМС; при этом нейроны обоих путей ДЛС были затронуты примерно одинаково. Интересно, что на 7-й день освоения новой последовательности число активированных нейронов существенно снизилось в ДЛС, но не в ДМС. Возможно, здесь имеют значение совсем другая структура и динамика мотивации, по сравнению с той, что присутствует при научении на ротороде.

Хотя существует справедливое мнение о том, что задачи на обучение дискретной последовательности скорее выявляют, как прогнозируются временные закономерности в окружающей среде, но вряд ли являются хорошими моделями ловких непрерывных последовательных действий, какими обычно бывают навыки (Krakauer et al., 2019), экспериментально навык часто изучается как фиксированная последовательность определенных движений. Именно на роли стриатума в выстраивании двигательной последовательности сфокусировано внимание в исследовании Ротвэлл и соавт. (Rothwell et al., 2015); они выявили специфическую роль нейронов прямого пути ДЛС в выполнении выученной последовательности движений и показали участие проекций из вторичной моторной коры в инициации исполнения последовательности, а также усиление синаптических связей между корой и ДЛС в процессе формирования очередности действий. Мартирос и соавт. обучали разных животных разным вариантам фиксированных последовательностей из трех нажатий на две педали; не разделяя нейроны прямого и непрямого пути, они показали, что вне зависимости от конкретной выполняемой крысой последовательности на стадии прочно сформированного двигательного паттерна нейроны ДЛС активируются преимущественно в начале и в конце правильно выполняемой последовательности (Martiros et al., 2018). В ранее упомянутых нами исследованиях (Jin et al., 2014; Rueda-Orozco, Robbe, 2015; Geddes et al., 2018; Vandaele et al., 2019) выполнение последовательности движений животных также доводилось до автоматизма, в некоторых из них проводилось тестирование на чувствительность к обесцениванию награды. Основным результатом, объединяющим эти и более ранние работы (например, Jin, Costa, 2010), является активность, приуроченная к началу и/или окончанию двигательной последовательности. Эти исследования укрепляют позиции представлений о том, что в организации действия стриатум может играть роль “светофора”, санкционирующего запуск и прекращение последовательности действий (Calabresi, Di Filippo, 2010). Однако обстоятельное исследование Салес-Карбонелл и соавт., специально предпринятое для прояснения этого вопроса, ставит под сомнение правильность такого представления (Sales-Carbonell et al., 2018).

В большой серии работ Хикосака и соавт. изучали закономерности формирования двигательных последовательностей и участие БГ в формировании навыка (см. обзоры Kim, Hikosaka, 2015; Hikosaka et al., 2019). Они показали, что на начальной стадии научения в большей степени задействованы передние отделы хвостатого ядра, а на стадии сформированного навыка – его задняя часть (“хвост”). В обзорной работе 2015-го года Ким и Хикосака обращают внимание на то, что закономерности, описанные для двигательных навыков, во многом сходны с закономерностями формирования навыка различения/выделения объектов (Kim, Hikosaka, 2015). Относительно этой категории навыков особого упоминания заслуживает совсем недавнее исследование Куниматсу и соавт., показавшими при обучении обезьян усложненной версии задачи различения “хороших” и “плохих” объектов (об исследованиях роли прямого и непрямого пути в этом поведении говорилось выше), что информация о зрительном окружении передается на проекционные нейроны стриатума посредством быстроразряжающихся интернейронов и при экспериментальном прерывании их связи с проекционными нейронами животное теряет способность к освоению навыка (Kunimatsu et al., 2021).

Для навыка характерно еще одно не упомянутое нами ранее свойство: координация многочисленных, часто одновременных, движений при действии. Этому вопросу посвящено исследование Лемке и соавт. (Lemke et al., 2019). Они регистрировали активность нейронов первичной моторной коры (M1) и дорзолатерального стриатума на протяжении всего периода научения навыку доставания через щель приманки у крыс, и наблюдали появление скоординированной низкочастотной активности в M1 и ДЛС, которая была связана с появлением быстрых и последовательных крупных движений, при этом развитие ловких тонких движений не зависело от этой активности. Авторы другого исследования участия стриатума в формировании навыка доставания приманки определяли динамику субъединичного состава NMDA-рецепторов ДЛС в обоих полушариях в привязке к латерализации тренируемой конечности (Kent et al., 2013). Было показано, в частности, что в контра- и ипсилатеральных отделах стриатума происходят противоположно направленные изменения субъединичного состава, которые наблюдаются уже и на ранней стадии научения, что авторы смело связывают с облегчением или, наоборот, воспрепятствованием для индуцирования сопровождающих научение пластических изменений. Фактор латерализации также оценивался в работе Хейв и соавт. (Hawe et al., 2015), обучавших крыс повороту в определенную сторону в т-образном лабиринте и оценивавших синаптическую пластичность в зависимости от полушария, региона дорзального стриатума и от стадии научения; они подтвердили более раннюю задействованность ДМС и выявили различия в пластических изменениях в разных полушариях и в разных регионах стриатума.

На основании рассмотренных работ можно заключить, что в формировании навыка ведущую роль играет ДЛС; является ли его участие критичным уже в начале научения и сохраняет ли активность структуры свою значимость для выполнения действия по прошествии длительного времени после достижения стадии автоматизации, остается пока предметом обсуждения; ДМС, однако, также чрезвычайно важен, особенно на ранней стадии научения и при специализации навыка. Приобретение навыка, как правило, связано с формированием определенной двигательной последовательности, и в большом числе исследований упоминается характерный паттерн активности нейронов стриатума, приуроченный к началу и завершению соответствующей очередности движений (Jin, Costa, 2010; Martiros et al., 2018; Vandaele et al., 2019), одни авторы рассматривают его по аналогии с сигналами светофора (Calabresi, Di Filippo, 2010), предписывающего изменения движения, другие справедливо утверждают, что тогда такая активность должна быть отчетливо дискретной и явно отличимой от других видов активности, и убедительно показывают, что это условие не соблюдается в популяционной картине разряда нейронов стриатума (Sales-Carbonell et al., 2018). Другими вескими доводами против такой аналогии являются свидетельства полной сохранности последовательного поведенческого паттерна после инактивации ДЛС (Rueda-Orozco, Robbe, 2015), после блокады выходного звена БГ (Desmurget, Turner, 2010), а также совпадение по времени (а не опережение со стороны БГ, как должно было бы быть в случае верной аналогии с сигналом светофора) начала двигательной активности и активности на выходе БГ, продемонстрированное в некоторых работах (например, Anderson, Horak, 1985). Дискуссии такого рода возвращают нас к теме участия стриатума в поведенческой гибкости.

ПЛАСТИЧНОСТЬ ПОВЕДЕНИЯ

В явном виде вопросы о гибкости поведения ставятся, когда на поведенческом уровне исследуют различного рода переделки, переключения, чередования, условное торможение, угашение и др.

Интересно, что работы с такого рода методическими подходами преобладают в исследованиях роли таламических входов в стриатум (Kato et al., 2018; Saund et al., 2017). Возможно, это связано с тем, что двусторонние воздействия на интраламинарные ядра существенно изменяют поведение, а односторонние, как правило, не позволяют выявить определенных эффектов на научение (Edlow et al., 2013; Schiff et al., 2007; Шаповалова и др., 1996). По результатам этих методически очень искусных работ авторы делают выводы о важной роли входов в стриатум из таламуса в регуляции поведенческой гибкости. На участие таламических ядер в модуляции пластичности поведения наряду с медиальной префронтальной корой и стриатумом указывается и в работе Накайамы и соавт. (Nakayama et al., 2018).

Лорен с сотрудниками сопоставляли результаты оптогенетической активации проекционных нейронов ДЛС при переделке порядка выполнения последовательности нажатия на две педали и показали разнонаправленные эффекты стимуляции прямого и непрямого пути: активация нейронов ПП облегчала переделку чередования нажатий на педали, а активация нейронов НП существенно замедляла, однако, нужно отметить, что интерпретация данных этого исследования затрудняется несколько небрежно описанной методикой, выбранным режимом стимуляции, а также на удивление несущественной динамикой поведенческих показателей переделки во всех группах (Laurent et al., 2017), и это препятствует сопоставлению результатов с данными других исследований.

Матамалес и соавт. изучали специфику участия D1- и D2-экспрессирующих нейронов в угашении инструментального рефлекса, определяя уровень задействованности обеих популяции нейронов дорзального стриатума по показателям транскрипционной активности в тот или иной период обучения. Они приходят к выводу, что D2-экспрессирующие нейроны оказывают влияние на нейроны прямого пути, способствуя подавлению нежелательной в новой ситуации пластичности и “задают новое направление произвольному действию”, тем самым способствуя гибкости поведения (Matamales et al., 2020). Похожий вывод делают Пик и соавт. в отношении нейронов прямого и непрямого пути задней части ДМС (Peak et al., 2020): они показали, что уровень маркера пластических изменений Zif268 в результате инструментального научения повышается только в нейронах ПП, а также предположили, что нейроны НП участвуют в поддержании поведенческой пластичности. И, наконец, авторы исследований на поведенческих моделях с явной ситуацией выбора также приходят к близким заключениям (Nonomura et al., 2018; Kwak, Jung, 2019).

ОЦЕНКА КАЧЕСТВА И РЕЗУЛЬТАТА ДЕЙСТВИЯ (И НЕ ТОЛЬКО ОЦЕНКА)

Как уже упоминалось, стриатум является ключевой мишенью для ДЕ-нейронов среднего мозга. Разными методами продемонстрировано, что популяция ДЕ-нейронов среднего мозга является разнородной по многим признакам (например, Poulin et al., 2018; Menegas et al., 2018).

Научение и движение – основные функции, с которыми тесно связана активность ДЕ-нейронов среднего мозга, главной мишенью которых является стриатум. Согласно наиболее цитируемой сегодня концепции ДА служит универсальным обучающим сигналом, кодирующим ошибку предсказания вознаграждения (ОПВ) (Schultz, 2013). В последнее время особенно широко обсуждаются природа, формы и сама возможность сосуществования сигнала об ОПВ и других видов активности ДЕ-системы, в первую очередь связанных с запуском движения (Flagel et al., 2011; Syed et al., 2016; Dodson et al., 2016; Coddington, Dudman, 2018; da Silva et al., 2018; Lee et al., 2019; Mohebi et al., 2019; Lee et al., 2020; Kutlu et al., 2021). С одной стороны, теория об ОПВ (Schultz, 2013) находит все новые подтверждения (Watabe-Uchida et al., 2017; Steinberg et al., 2013; Chang et al., 2016; Eshel et al., 2016), с другой стороны, быстро накапливаются данные, противоречащие этой теории или требующие ее уточнения. Важно то, что данные в пользу участия ДА в инициации/организации движения получены, как правило, на свободноподвижных животных и в них систематически демонстрируется, что выброс ДА/активация ДЕ-системы предшествует/сопутствует движению (Cacciapaglia et al., 2011; Flagel et al., 2011; Ivlieva et al., 2014; Oleson et al., 2012; Pasquereau, Turner, 2014; Schultz et al., 1983; Howe, Dombeck, 2016; da Silva et al., 2018; Tye et al., 2013; Diao et al., 2021; Майоров, Серков, 2016; Майоров, 2021) и даже контролирует ключевые параметры движения (Hughes et al., 2020), в то время как активность, ассоциирующаяся с ОПВ, была выявлена и активно исследована, главным образом, в условиях классического УР, где движение гораздо менее значимо. Мы рассмотрим новые данные, принимая во внимание, что, во-первых, ДА контролирует подвижность практически у всех многоклеточных животных (Caveney et al., 2006), во-вторых, ДЕ-система среднего мозга млекопитающих получает прямые входы ото всех двигательных систем мозга (Watabe-Uchida et al., 2012; Coddington, Dudman, 2019), и, в-третьих, при паркинсонизме основной удар принимает на себя нигростриатная ДЕ-система (Hernandez et al., 2019).

Ранее (Ивлиева, 2021) мы уже упоминали исследования, в которых продемонстрирована активация ДЕ-системы перед инициацией спонтанных движений в разных условиях (Howe и Dombek, 2016; da Silva et al., 2018), однако также показано фазное снижение активности ДЕ-нейронов непосредственно перед движением (Dodson et al., 2016). Коддингтон и Дадман регистрировали активности ДЕ-нейронов у животных с фиксированной головой (Coddington, Dudman, 2018), находящихся в закрепленной на пружине корзинке. Они тоже показали снижение активности большинства исследованных нейронов SNpc в самом начале движения, в активности части нейронов VTA наблюдалось аналогичное торможение; важно, что такая картина наблюдалась только до введения в эксперимент вознаграждающих стимулов. После они вырабатывали следовой классический УР и показали, что у части клеток к связанному с движением (лизательные движения и сопровождающие их движения тела) торможению добавляется предваряющая его короткая активация. В целом по результатам работы они делают вывод об отдельных источниках для активности, связанной с движением, и активности в ответ на стимуляцию (звук, воду), предполагают интегрирование ДЕ-нейронами соответствующих входов и указывают на расхождение своих данных с предсказаниями теории об ОПВ (даже в условиях классического УР). Следовой классический УР также был использован в качестве поведенческой модели в исследовании Ли и соавт. (Lee et al., 2020), они оптогенетически вызывали кратковременное торможение активности нейронов VTA и латеральной части SNpc как перед подачей пищевого стимула, так и сразу после, и показали, что торможение активности непосредственно после подачи вознаграждения оказывает более выраженное влияние на последующее поведение (аналогичное эффекту уменьшения порции молока), это относилось к обоим ядрам, но для SNpc было также продемонстрировано заметное влияние торможения на текущие движения в период перед вознаграждением, на основании этого сделан вывод о более выраженном вкладе ДА в процессы научения. Также отметим, что и эти авторы заявляют об определенных расхождениях своих результатов с закономерностями, предсказанными теорией об ОПВ.

Саундерс и соавт. показали, что в отсутствие каких бы то ни было внешних вознаграждающих стимулов серии сочетаний короткой оптогенетической активации дофаминовых нейронов с предъявлением дискретного сенсорного стимула (свет+звук) было достаточно для того, чтобы в последующем этот стимул вызывал активацию ДЕ-нейронов. Интересно, что обусловленная реакция приближения к источнику света (“Павловское приближение”) возникала вследствие сочетаний УС со стимуляцией ДЕ-нейронов VTA, но не компактной части SN (Saunders et al., 2018). Предполагается, что ДЕ-нейроны VTA получают как сильные входные сигналы о безусловных вознаграждающих стимулах, способных безоговорочно активировать ДЕ-клетки, так и слабые входы от нейтральных стимулов (Майоров, 2018; Galaj, Ranaldi, 2021). Посредством сочетанной стимуляции слабый сигнал усиливается и преобретает способность активировать ДЕ-нейроны VTA, вызывая условный ответ. Обучение происходит, когда такая совместная стимуляция инициирует активацию внутриклеточных каскадов вторичных посредников, что приводит к усилению глутаматных синапсов на ДЕ-нейронах (Nisanov et al., 2020; Galaj, Ranaldi, 2021).

Теперь перейдем к рассмотрению работ, в которых исследовался инструментальный УР и основным был вопрос о природе приуроченной к движению активности ДЕ-нейронов. Коста и соавт. в большой серии экспериментов в качестве поведенческой модели использовали спонтанно инициируемую последовательность из восьми нажатий на педаль. Они показали, что ДА нейроны SNpc демонстрируют преимущественно кратковременные активационные реакции перед началом выполнения последовательности (Jin, Costa, 2010, da Silva et al., 2018), оптогенетическое торможение ДЕ-нейронов (5 с) исследованной структуры препятствовало инициации последовательности, но не влияло на выполнение уже запущенной до начала стимуляции последовательности (da Silva et al., 2018). (Эти данные укрепили представления об аналогии с сигналом светофора, о которой говорилось выше: Calabresi, Di Filippo, 2010). Примечательный подход к решению проблемы связи активности ДЕ-нейронов с движением или с предсказанием награды предложили Зайд и соавт. (Syed et al., 2016): они обучали животных просовывать нос в отверстие и слушать условный сигнал, который инструктировал их либо немедленно выполнять нажатия на одну из педалей, либо оставаться неподвижными на протяжении короткого времени, сопоставимого со временем нажатия на педали. Было показано, что мезолимбическая ДЕ-система начинает активироваться во всех случаях в связи с инициацией движения, т.е. в ситуации, когда животное в ответ на сигнал должно ждать, начало роста концентрации ДА откладывалось на время ожидания; также они обнаружили различия в динамике изменения концентрации ДА в правильных и ошибочных попытках еще до появления сигналов, подтверждающих ошибочность действий. Той же проблеме посвящена серия работ, в которых исследователям удалось выделить в активности ДЕ-нейронов, проецирующихся в ДЛС, компонент, очевидно связанный с движением (с контралатеральным поворотом, Parker et al., 2016), они также провели дополнительное исследование, чтобы доказать, что эта активность не определяется ОПВ (Lee et al., 2019).

О роли ДЕ-нейронов в избегании говорит название статьи Менегас и соавт. (Menegas et al., 2018), которые на мышах в ситуации выбора исследовали активность нигростриатной подсистемы, ранее выделенной ими по морфологическим основаниям (в ней тела ДЕ-нейронов расположены в латеральной части SNpc, а их аксоны направляются в хвостовую часть каудо-путамена); однако, с их утверждением о том, что дофаминовые нейроны подкрепляют реакцию избегания, не легко согласиться: показали они, по сути, обратное тому, что показано на птицах, а именно то, что действие, за которым следует стимуляция ДЕ-аксонов в изученной области, с меньшей вероятностью будет повторено. Такие воздействия операционально определяют как наказание. Трактуя наказание как подкрепление избегания “посредством механизма Павловского предсказания”, авторы не приводят эмпирических или теоретических доводов.

Об особенностях разных популяций ДЕ-нейронов говорит и серия работ Хикосаки и соавт. (Matsumoto, Hikosaka, 2009, Kim et al., 2014, 2015). Они показали, что на “головку” и “хвост” хвостатого ядра обезьян проецируются отдельные группы ДЕ-нейронов (Kim et al., 2014), и эти группы посылают в стриатум функционально различные сигналы (обновляемый в противовес устойчивому (update vs sustain)), которые по-разному участвуют в формировании краткосрочной и долгосрочной памяти (Kim et al., 2015). Нейроны, кодирующие “обновляемый” ДЕ-сигнал, избирательно чувствительны к прогнозируемому вознаграждению (кодируют ОПВ), в то время как нейроны с “устойчивым” ДЕ-сигналом имеют тенденцию сохранять “исторически сложившиеся” (сформированным в результате длительного обучения много дней назад) реакции на вознаграждение (Kim et al., 2015). Интересно сопоставить это наблюдение с физиологическими свойствами проекций к ДЕ-нейронам черного вещества от нейронов стриосом: Эванс и соавт. показали, что вслед за тормозной паузой, вызванной стимуляцией нейронов стриосом, в ДЕ-нейронах присутствует сильный эффект отдачи (Evans et al., 2020), и можно предположить, что “устойчивый” ДА-сигнал, отмеченный у обезьян, может опосредоваться подобным механизмом. Интересно, что здесь могут быть вовлечены клетки стриосом, которые все чаще обсуждаются в связи с их участием в механизмах привычки. Отмечено и еще одно различие этих, описанных у обезьян, групп нейронов черного вещества: стимулы, предвещающие угрозу, подавляют активность ДЕ-нейронов в передней вентромедиальной части, но возбуждают ДЕ-нейроны в задней дорзолатеральной части компактной части SN. (Matsumoto, Hikosaka, 2009).

Однако, как и с проекционными нейронами стриатума, вопрос о степени функциональной гетерогенности и кластеризации нейронов ДЕ-ядер среднего мозга остается открытым. Энгелхард и соавт. считают, что на этот вопрос можно получить ответ, изучая реакции нейронов в условиях более сложных среды и задачи, например, в виртуальном лабиринте; они показали, что подавляющий процент клеток от числа зарегистрированных реагирует на вознаграждение в соответствии с закономерностями ОПВ, а в отношении других компонентов реакций им удалось выделить несколько кластеров, например, клеток с реакцией в соответствии с параметрами движения, на условный стимул и др. (Engelhard et al., 2019). Среди них нужно отметить кластер нейронов, активность которых авторы связывают с точностью выполнения задачи (аккуратностью): интересно, что повышение частоты разряда этих клеток коррелирует с увеличением числа ошибок. В этой связи приведем также наши результаты.

Мы изучали активность нейронов VTA крысы, обучая ее доставанию пищевого шарика (пелеты) из узкой горизонтальной трубки. Детальный анализ активности нейронов во время последовательной смены движений при доставании пищи из трубки показал, что активность большинства нейронов начинает снижаться в разные моменты выполнения этой непрерывной последовательности движений; суммарная активность клеток с таким паттерном формирует плавное, практически линейное снижение активности к моменту выема пищи. Когда животное выполняло более сложную задачу – в конце двигательной последовательности должно было пронести пищу через щель, не уронив ее, – активность на старте была несколько выше, но снижалась более резко к моменту критической фазы движения (Ивлиев, Ивлиева, 2018). И в подтверждение наблюдения Энгелхард и соавт. (Engelhard et al., 2019) ошибки животные совершали на фоне значительно более высокой активности нейронов вентральной тегментальной области (рис. 2). Когда Бова и соавт. применяли оптогенетическую стимуляцию ДЕ-нейронов компактной части SN во время доставания пищи в сходных усложненных условиях (пища помещалась на тонком столбике), они обнаружили заметное снижение результативности пищедобывательных движений и сделали очень интересный вывод: среди прочего они утверждают, что стимуляция ДЕ-нейронов ускоряет переход от одного промежуточного движения к другому в двигательной последовательности (Bova et al., 2020).

Рис. 2.

Импульсная активность большинства нейронов VTA, демонстрирующих торможение в период нахождения лапы в трубке. Популяционная активность нейронов VTA в начале движения, зарегистрированных при модификации навыка. Перистимульные гистограммы выровненные (вертикальные линии) относительно начала просовывания лапы в трубку и сглаженные методом скользящей средней по трем точкам. Снизу: усредненные значения бина, полученные на интервале до пересечения лапой датчика для перистимульной гистограммы сверху перед процедурой сглаживания. Сравнение группы “успех” с контролем и группой “неудача” проводили с помощью ANOVA и Dunnett теста. Разбросы даны в виде 95% доверительного интервала. ** – p ≤ 0.01, *** – p ≤ 0.001. Ширина бина на всех гистограммах рисунка 20 мс.

Fig. 2. PETHs of population activity (three points moving average window) of neurons reducing firing rate when the forepaw is in the tube recorded with the skill modification in early movement; PETHs and corresponding average discharge rates (under them) for control runs (no gap) are shown in white, for successful and unsuccessful (with gap) runs – in gray and black, respectively. Averaging for bottom row is carried out at intervals before the vertical lines on the corresponding PETHs for unsmoothed data (comparison of control, successful and unsuccessful runs before inserting the forepaw into the tube). Spreads are 95% confidence interval. ** – p ≤ 0.01, *** – p ≤ 0.001 (ANOVA and Dunnett test).

Проблема разнородности дофаминовых эффектов в разных регионах стриатума находится и в центре внимания Хамида и соавт. (Hamid et al., 2021): в поле зрения исследователей находилась большая площадь стриатума (включающая ДМС и ДЛС) помещенной на вращающийся барабан мыши; они обнаружили, что дофаминовый сигнал (регистрируемый с помощью кальциевого индикатора в аксонах ДЕ-нейронов, а также с помощью световой дофаминовой метки) распространяется волнообразно, начинаясь в одном регионе стриатума и плавно смещаясь в другой. Когда у животных вырабатывали пищевые классический и инструментальный рефлексы, в ответ на вознаграждающий стимул фиксировались разнонаправленные волны: при инструментальном обусловливании волна инициировалась в ДМС и распространялась латерально, и, наоборот, при классическом латерально возникшая волна распространялась медиально; при этом в начале научения траектория волн сильно варьировала, а в конце – была стабильно однообразной. Авторы (Hamid et al., 2021) рассматривают эти различия в связи с понятиями контролируемости событий и агентности.

Таким образом, ДЕ-нейроны изменяют частоту разряда и в связи с движением, и в связи с результатами действия. Выраженность тех или других реакций в активности отдельных клеток в большой степени зависит от критичности действия в данной поведенческой модели и от принадлежности ДЕ-нейронов к той или иной клеточной популяции; эти различающиеся между собой группы нейронов, вероятно, могут быть отличны друг от друга и по другим признакам; с какой степенью определенности эти популяции ДЕ-нейронов могут быть разделены между собой, остается предметом дискуссий и дальнейших исследований.

ОБСУЖДЕНИЕ

Нейроны стриатума принимают важное участие в процессе двигательного научения. Активность нейронов прямого и непрямого пути часто демонстрирует сходный паттерн, в то время как результаты избирательного воздействия на эти нейроны часто имеют разнонаправленную динамику, таким образом, основные выводы предыдущей работы о парадоксальной одновременной активации нейронов обоих путей во время движения могут быть распространены на существенную часть исследований выработанных движений. Однако в активности нейронов прямого и непрямого пути при вновь выученных движениях присутствуют и различия: так, при выполнении животным простых задач уровень разряда нейронов прямого пути несколько превалирует при инициации движения или имеет тенденцию опережать активацию нейронов непрямого пути (Sippy et al., 2015; Isomura et al., 2013; O’Hare et al., 2016; Sheng et al., 2019); также можно говорить об участии нейронов НП в поведенческой гибкости (Vicente et al., 2016; Tecuapetla et al., 2016; Geddes et al., 2018; Owesson-White et al., 2016; Nonomura et al., 2018; Matamales et al., 2020; Peak et al., 2020).

Стриатум играет роль в выборе поведенческого мотива, но его участие в текущем выборе носит скорее облегчающий, чем санкционирующий характер (Anderson, Horak, 1985; Thura, Cisek, 2017; Hormigo et al., 2021); и, скорее всего, особая роль стриатума состоит в направленном изменении вероятности последующего выбора этого же поведенческого паттерна в зависимости от его результата (Kim et al., 2017; Nonomura et al., 2018). То есть, вероятно, что участие стриатума в составе БГ в выборе во многом является косвенным, но очень значимым (Anderson, Horak, 1985; Dudman, Krakauer, 2016; Thura, Cisek, 2017; Kwak, Jung, 2019; Hormigo et al., 2021). Возможно, такой механизм может играть особую роль в выборе “по умолчанию”, когда на “произвольный” выбор нет времени и/или выбор осуществляется по привычке (Hardwik et al., 2019; Crego et al., 2020).

Вероятно, преобладание активации нейронов ПП в большей степени поддерживает реализуемые в данный момент двигательные программы, а усиление активности НП смещает тенденцию к возбуждению нейронов, в меньшей степени связанных с доминирующим двигательным паттерном, вплоть до переключения на другое движение (Vicente et al., 2016; Ueda et al., 2017; Nonomura et al., 2018) или другое поведение (Tekuapetla et al., 2016). Не исключено, что при угашении и переделках УР отчасти вовлекаются те же механизмы (Matamales et al., 2020; Peak et al., 2020). В нашей предыдущей обзорной работе (Ивлиева, 2021) мы обратили внимание на то, что манипуляции именно с нейронами НП часто приводили к изменениям исследовательского поведения (Alcacer et al., 2017; Durieux et al., 2012; Lemos et al., 2016), эти же нейроны проявляли изменения активности в связи с ориентировочным поведением (Parker et al., 2018).

Попытаемся изложить предполагаемую последовательность событий при выполнении инструментального движения:

1) Инициация инструментального движения происходит при критическом участии нейронов прямого пути БГ на фоне высокой концентрации ДА в стриатуме, достаточной для активации низкоаффинных D1-рецепторов (Майоров, 2021); влияя на эти рецепторы, дофамин препятствует переходу клетки в возбужденное состояние, однако при достижении клеткой порогового уровня генерации спайков, дофамин существенно повышает ее возбудимость (см. обзор Gerfen, Surmeier, 2010) и, вероятно, таким образом влияет на параметры движения (Hughes et al., 2020). Параллельно это может повышать вероятность повторения однажды исполненного движения по принципу: раз движение было произведено, оно не бесполезно. И чем чаще движение выполняется на фоне высокого уровня ДА, тем выше эффективность возбуждающих входов к соответствующим D1-эспрессирующим нейронам (Shen et al., 2007; Mawase et al., 2017) и, следовательно, выше вероятность повторного выполнения движения. Есть основания считать, что “закрепление” движения через прямой путь может и не зависеть непосредственно от последующего вознаграждения (Ueda et al., 2017; Kim et al., 2015; Evans et al., 2020). В то же время в исследовании Ягишиты с коллегами показано, что пластические изменения в проеционных нейронах стриатума происходят, когда дофаминовый сигнал поступает во временном окне, открывающемся сразу после сочетанной стимуляции возбуждающих входов (Yagishita et al., 2014). Однако этот результат и построенные на его основании компьютерные модели (Urakubo et al., 2020) не исключают возможности изменений и на фоне уже повышенной концентрации ДА, так как в условиях проведения сочетаний стимуляции в присутствии апплицированного ДА исследователи получили сходные по амплитуде пластические перестройки; присутствие ДА в синаптической щели к моменту стимуляции теоретически может и облегчить проблему совпадения активности. Возможно, такая проблема может решаться и за счет выделения ДА под влиянием синхронной активности холинергических интернейронов стриатума (Threlfell et al., 2012). Возвращаясь к инициируемому движению: его управляемость может обеспечиваться параллельной активацией нейронов непрямого пути, при этом первоначальный возбуждающий эффект такой активации на популяцию нейронов моторной коры (Oldenburg, Sabatini, 2015) может служить “толчком”, выводящим тело из состояния покоя.

2) Уже в начале выполнения движения активация ДЕ-нейронов начинает снижаться, что ведет к подавлению активности нейронов ПП и способствует большему вовлечению клеток НП. Это в свою очередь может препятствовать выполнению конкурентных движений и способствовать большей точности выбранного движения (Hikosaka et al., 2000; Dodson et al., 2016; Ивлиева, Ивлиев, 2018, Engelhard et al., 2019). Также это может содействовать повышению чувствительности нейронов непрямого пути к сигналам о результате выполненного действия и таким образом обеспечивать зависимость знака пластических изменений от событий, следующих за движением (по причине, во-первых, высокого сродства D2-рецепторов к ДА (Richfield et al., 1989), во-вторых, их “настроенности” на выявление отрицательной динамики активности ДЕ-системы (Lee et al., 2021; Yapo et al., 2017), а также из-за того, что в зависимости от уровня дофамина в D2-экспрессирующих нейронах стриатума может развиваться либо длительная потенциация, либо длительная депрессия в условиях STDP (Shen et al., 2008). Помимо этого, активация нейронов НП может несколько изменить паттерн активации нейронов первичной моторной коры (Oldenburg, Sabatini, 2015), что в условиях неопределенности (приведет ли движение к ожидаемому результату) может способствовать переходу к выполнению другого движения (Hartmann et al., 2015).

3) Результат действия в виде полученного или не полученного пищевого вознаграждения может, в первую очередь, быть опосредован быстрыми входами из интраламинарных ядер таламуса и медиодорзального таламического ядра, и уже позже – ДЕ-нейронами или механизмами освобождения ДА в терминалях через посредство таламических проекций и холинергических интернейронов стриатума (Threlfell et al., 2012; Cover et al., 2019).

Таким образом, предполагается, что клетки ПП играют ключевую роль в инициации движения и “сохранении” всего приобретенного двигательного репертуара особи, что может, например, объяснить быстрое восстановление старых навыков, а клетки непрямого пути вовлечены в процесс гибкого управления движениями.

Несколько меняя ракурс, попытаемся рассмотреть процесс формирования навыка как процесс динамичной оптимизации баланса двух путей: можно предположить, что прямой путь играет ключевую роль в поддержании часто выполняемых (благодаря своей эффективности) в данном контексте движений вплоть до участия (вероятно, на равных с корой) в механизмах обеспечения процесса их автоматизации (Smith, Graybiel, 2013; Charlesworth et al., 2012; Ashby et al., 2007; Jenrette et al., 2019; Nadel et al., 2020), а непрямой путь, в том числе и через влияние на нейроны коры (Oldenburg, Sabatini, 2016), способствует генерации вариабельности, или двигательной генерализации (Vicente et al., 2016); осуществление же действия в условиях определенного варьирования его параметров, позволяющего “нервной системе интенсивно набирать потоки рецепции”, способствует отработке стабильной реализации действия вплоть до решения задачи стандартного выполнения в нестандартных условиях, о которой говорит Бернштейн (1947), и в определении постулируемых им “локусов коррекционной взыскательности” критичной может оказаться активность именно нейронов непрямого пути. Возможно, что непрямой и прямой пути БГ критически вовлечены в оба процесса регуляции двигательной изменчивости, о которых говорят Давале и соавт. (Dhawale et al., 2019): “Быстрый процесс модулирует изменчивость в зависимости от результатов последних попыток, увеличивая ее, когда результативность низкая, и наоборот. Более медленный процесс регулирует динамику быстрого процесса на основе неопределенности ландшафта вознаграждения в данной задаче”. И, возможно, в быстром процессе ведущая роль у нейронов НП, а в медленном – у нейронов ПП (благодаря, в первую очередь, пластическим изменениям в них).

Еще одна важная проблема, которую затрагивает Бернштейн, обсуждая формирование навыка, это перешифровка образа движения и “выявление потребных сенсорных коррекций”. Он пишет: “…сколь угодно ясный образ двигательного состава движения не дает еще никакого понятия о коррекциях и перешифровках, необходимых для его осуществления”. Можно предположить, что на уровне стриатума эта проблема решается при постепенной передаче функций от ДМС к ДЛС или у приматов от хвостатого ядра к скорлупе (putamen) (или от головы хвостатого ядра к его задней части (“хвосту”)). Существуют свидетельства того, что научение кинематическим и динамическим составляющим движения происходит относительно независимо (Krakauer et al., 1999), и весьма умозрительно, но можно предположить, что ДМС в большей степени отвечает за первые, а ДЛС – за вторые. С этим согласуется значительная роль зрительного контроля (как отслеживание траектории) для корректного выполнения неавтоматизированных действий, на которую обращают внимание Ким и Хикосака (2015), и уменьшение роли такого контроля по мере автоматизации движений. (На уровне человека при этом можно говорить о постепенном выходе определенных аспектов движения из-под сознательного контроля (Kim, Hikosaka, 2015).

Отсутствие возможности говорить о сознании животных не исключает существования у них родственных механизмов переключения автоматизированных и произвольных процессов. Некоторые связи стриатума, выявленные в исследованиях на животных, и их особенности могут быть кандидатами на роль участников в механизмах переключения между произвольным и автоматизированным контролем. Например, Хинтирян и соавт. показали, что входы из отделов коры, которые могут быть вовлечены в обеспечение взаимодействия между различными корковыми сетями, проецируются в центральные, очень ограниченные регионы дорзального стриатума – по контрасту с входами из отделов коры, более тесно связанных с сенсорными проекциями, широко распространяющимися по периферии стриатума (Hintiryan et al., 2016). А по данным Райга и Силберберга нейроны ДМС получают мультимодальные входы, у нейронов же ДЛС они зарегистрировали только реакции на тактильные стимулы (Reig, Silberberg et al., 2014). По данным Куниматсу и соавт., нейроны прямого пути стриатума в большой степени контролируются быстроразряжающимися ГАМК-ергическими интернейронами (FSI) и роль последних критична в модуляции ответов на стимулы со стороны контекста (Kunimatsu et al., 2021). При этом у крыс блокада проекций от FSI к проекционным нейронам приводит к усилению активности нейронов НП, и вероятно, эти интернейроны обеспечивают довольно тонкую и специфичную регуляцию баланса активности двух путей (Damodaran et al., 2014) и могут принимать участие во взаимодействии механизмов, обеспечивающих автоматизм и произвольность поведения. Большой интерес в этом контексте представляют особенности синапсов от нейронов прямого и непрямого пути на клетки ретикулярной части черного вещества, позволяющие входам от ПП в большей степени контролировать частоту разряда (амплитуду), а от НП – временную приуроченность активности (Simmons et al., 2020); более предсказуемы (по сравнению с нейронами ПП) и временные аспекты влияния со стороны нейронов НП на ДЕ-нейроны (Evans et al., 2020), что косвенно подкрепляет предположение об участии нейронов НП в предопределении момента выполнения запланированного движения (Bakhurin et al., 2020) за счет, например, предотвращения его автоматического запуска.

Активность ДЕ-нейронов в свою очередь очень многогранна: они изменяют частоту разряда в ответ на широкий спектр внешних стимулов, имеющих разную значимость, среди которых особенно выделяются стимулы, связанные с вознаграждением; также они преобразуют активность и в связи с движением; знак этих изменений сильно зависит от тончайших нюансов на разных изучаемых уровнях: например, от особенностей (не всегда явных) поведенческой ситуации, от индивидуальных особенностей животного, от принадлежности изучаемой клетки к определенной нейронной популяции, от влияний на уровне пресинапса и т.д. (например, Flagel et al., 2011; Howe, Dombek, 2016; Dodson et al., 2016; Kim et al., 2015; Mohebi et al., 2019); многочисленные модусы активности ДЕ-нейронов не связаны с кодированием ОПВ даже в условиях классического УР (Coddington, Dudman, 2018, 2019; Lee et al., 2020). Фазные ответы на сенсорную стимуляцию и изменения импульсации в связи с движением могут быть экспериментально разделены во времени, вероятно, они определяются различными входами; степень сегрегации этих механизмов является предметом дискуссий (см. обзор Coddington, Dudman, 2019).

Выраженность изменений, приуроченных к движению в активности отдельных ДЕ-клеток в большой степени зависит от критичности действия в данной поведенческой модели и соответственно такие изменения более явны при инструментальном УР. Более дискретные действия сопровождаются короткими фазными изменениями дофаминового сигнала; последовательности плавно сменяющих друг друга движений сопровождаются плавными изменениями уровня ДА в проекционных структурах (Howe et al., 2013), обеспеченными, вероятно, последовательным вовлечением отдельных клеток (Ивлиев, Ивлиева, 2018). Предполагается, что активация ДЕ-системы способствует быстрому запуску наиболее вероятного в данном контексте движения (Tye et al., 2013; Hamid et al., 2016; Howard et al., 2017), а фазное снижение частоты разряда дофаминовых нейронов относительно фонового уровня или после предварительной активации способствует большей точности действия (Ивлиева, Ивлиев, 2018; Engehardt et al., 2019; Dodson et al., 2016); соответственно в инициации движения, происходящего на фоне высокой концентрации ДА, ключевую роль играют эффекты медиатора на D1-экспрессирующие нейроны стриатума, а в его корректировке – на нейроны непрямого пути. Искусственная активация ДЕ-нейронов, существенно выходящая за пределы физиологического диапазона по времени, интенсивности и паттерну, “торопит” переходы от одной двигательной стадии к другой (Bova et al., 2020).

Не менее важен вклад ДА в регуляцию движений через влияние на механизмы пластичности (Coddington, Dudman, 2018, 2019; Chang et al., 2016; Hamid et al., 2016, 2021; Saunders et al., 2018; Xiao et al., 2018; Mohebi et al., 2019). Исследования пластичности нейронов стриатума и входов к ним в последние годы вступили в новую эпоху, когда стало возможно подступиться к изучению синаптической и структурной пластичности на бодрствующих животных в процессе научения. Многообразие пластических преобразований, разнородность регионов и клеточного состава стриатума, а также многоликость и сложная динамика процессов научения будут в совокупности приводить к большим проблемам с интерпретацией новых данных, однако совладание с этими трудностями станет большим шагом на пути к пониманию механизмов участия стриатума в научении.

ЗАКЛЮЧЕНИЕ

При движениях в ситуации научения в активности нейронов стриатума проявляются закономерности, во многом близкие тем, что наблюдаются при движениях повседневного поведенческого репертуара. Однако при научении более выпукло проявляется участие нейронов непрямого пути в обеспечении гибкости поведения: их активность в большей степени связана с ситуациями угашения, переключения, переделки, генерализации и т.п. Мы предполагаем, что нейроны ПП играют ключевую роль в формировании и поддержании часто выполняемых в данном контексте движений вплоть до участия в механизмах обеспечения процесса их автоматизации, а нейроны НП – в сообразующемся с конкретной ситуацией гибком вовлечении или временном исключении определенных движений. Эти эффекты активности двух путей, вероятно, достигаются за счет их комплементарного влияния на механизмы обеспечения поведенческой вариабельности или двигательной генерализации; осуществление же действия в условиях определенного варьирования его параметров, позволяющего “нервной системе интенсивно набирать потоки рецепции” (Бернштейн, 1947), способствует отработке стабильной реализации действия вплоть до решения задачи стандартного выполнения в нестандартных условиях.

С некоторой степенью определенности можно говорить о том, что высокие концентрации ДА в стриатуме через влияние на нейроны ПП облегчают инициацию действия и пластические перестройки, способствующие более вероятному выполнению данного действия в будущем; а для регуляции активности нейронов непрямого пути большее значение имеют динамические изменения уровня ДА, а не концентрация медиатора как таковая.

На настоящий момент очевидно, что механизмы участия стриатума в произвольном движении не могут быть удовлетворительно прояснены, с одной стороны, без определения роли различных видов интернейронов стриатума, без определения принципов “разделения труда” между стриосомами и матриксом, между ДЛС и ДМС, а также выявления закономерностей модуляторных влияний со стороны дофамина и ацетилхолина; с другой стороны, необходимо как можно скорее определиться с тем, какой круг явлений стоит за понятием привычки. “Здесь только нужно постоянно помнить: надо прийти в движение, что лишь в движении сцепляются какие-то вещи так, что нам может открыться идея”, – говорит Мамардашвили (2002, стр. 252).