1. На главную
  2. Электронные версии
  3. Журнал высшей нервной деятельности им. И.П. Павлова
  4. T. 69, № 6, 2019

Журнал высшей нервной деятельности им. И.П. Павлова, 2019, T. 69, № 6, стр. 726-742

РОЛЬ НЕЙРОНОВ ОРБИТОФРОНТАЛЬНОЙ КОРЫ И СУБТАЛАМИЧЕСКОГО ЯДРА В ПОДДЕРЖАНИИ МЕЖСИГНАЛЬНЫХ РЕАКЦИЙ ПРИ “ИМПУЛЬСИВНОМ” И “САМОКОНТРОЛИРУЕМОМ” ПОВЕДЕНИИ

Ю. А. Герасимова 1, *, Е. П. Кулешова 1, В. В. Сидорина 1, Г. Х. Мержанова 1

1 Лаборатория условных рефлексов и физиологии эмоций, Институт высшей нервной деятельности и нейрофизиологии РАН
Москва, Россия

* E-mail: travelmate2300@mail.ru

Поступила в редакцию 25.02.2019
После доработки 23.04.2019
Принята к публикации 03.06.2019

Полный текст (PDF)

Аннотация

Импульсивность – один из важнейших симптомов целого ряда психических расстройств. Анализ активности структур головного мозга, связанных с организацией целенаправленного поведения, является важным направлением исследования для понимания нейробиологических основ импульсивности. Орбитофронтальная кора и субталамическое ядро – взаимосвязанные структуры головного мозга, роль которых в организации “импульсивного” и “самоконтролируемого” поведения в настоящее время активно обсуждается. Одним из критериев “импульсивного” поведения является проявление межсигнальных реакций. Межсигнальные реакции – это неподкрепляемые инструментальные движения в отсутствие внешнего триггерного сигнала. С помощью поведенческой методики “право выбора” подкрепления и метода хронической регистрации мультинейронной активности мы исследовали активность нейронов орбитофронтальной коры и субталамического ядра на кошках в условиях выбора пищевого подкрепления разного качества. С помощью кластерного анализа и анализа перистимульных гистограмм нами были получены данные об активации отдельных популяций нейронов этих структур в периоды получения пищевого подкрепления и при окончании межсигнального движения, которое не подкреплялось. Мы предполагаем, что орбитофронтальная кора и субталамическое ядро играют важную роль в поддержании эффекта “подкрепления” при межсигнальных реакциях.

Ключевые слова: орбитофронтальная кора, субталамическое ядро, импульсивное поведение, межсигнальные реакции

ВВЕДЕНИЕ

Проблема “импульсивного” и “самоконтролируемого” поведения индивидуума – одна из актуальных научных проблем на сегодняшний день. С точки зрения психологии по Н.И. Ганошенко, импульсивность [лат. impulses – толчок, побуждение] – особенность поведения человека, заключающаяся в склонности действовать по первому побуждению, под влиянием внешних обстоятельств или эмоций [Венгер, 2005]. В психиатрии под импульсивностью понимают феномены импульсивных влечений, то есть нарушения волевой сферы. Импульсивное влечение – немотивированное, безвольное, пароксизмально возникающее влечение на фоне аффективно-суженного сознания. К патологии влечений относятся также извращение влечений, навязчивые влечения, компульсивные влечения. Вероятно, как и нормальная импульсивность, так и нарушения в сфере влечений подчинены одному и тому же физиологическому или, в случае нарушения, патофизиологическому процессу, происходящему в головном мозге. В модельных экспериментах на животных делаются попытки выявить нейробиологические механизмы “импульсивного” и “самоконтролируемого” поведения, дать научное обоснование терапевтического воздействия фармакологических препаратов на “импульсивное” поведение в клинике [Dalley, Roiser, 2012; Evenden, 1999; Nocjar et al., 2002; Pattij, Vanderschuren, 2008; Winstanley et al., 2006].

С точки зрения экспериментальной физиологии “импульсивность” – это предпочтение ситуаций с немедленным получением подкрепления, даже если оно невысокого качества или малого объема. И, напротив, “самоконтролируемое” поведение выражается в предпочтении подкрепления лучшего качества или большего количества, даже если его получение требует больших усилий, предполагает длительное ожидание или преодоление препятствий.

Наличие большого количества межсигнальных реакций также является одной из характеристик “импульсивности” в различных экспериментальных моделях на человеке и животных. В целом феномен межсигнальных реакций пока не получил подробного обсуждения в научной литературе. Механизм формирования и поддержания межсигнальных реакций остается малоизученным. Существуют единичные экспериментальные работы, посвященные исследованию межсигнальных реакций в широком смысле этого понятия, – как комплекса реакций, возникающих в межстимульный период, который может включать в себя повороты головы, облизывания, груминг, а также воспроизведение, в усеченном варианте либо полностью, выученных инструментальных движений [Merzhanova, 1997; Думенко, Козлов, 1997; Пакович, 1971]. В нашей работе мы рассматривали межсигнальную реакцию как самоинициированное инструментальное движение в отсутствие внешнего условного сигнала, которое не подкрепляется. С точки зрения оптимизации поведения животного после обучения эти межсигнальные движения без подкрепления бессмысленны, вместе с тем, они не угашаются полностью. В научной литературе предлагаются различные теории объяснения этого феномена, в частности, гипотеза об “обратных условных связях” в условнорефлекторной дуге [Merzhanova, 1997; Асратян, 1977; Давыдова, 1986; Думенко, Козлов, 1997; Пакович, 1971; Руденко, 1974; Скипин и др., 1955].

В нашей работе мы исследовали период межсигнальных реакций при “импульсивном” и “самоконтролируемом” поведении. В центре внимания была активность нейронов орбитофронтальной коры и субталамического ядра – взаимосвязанных структур головного мозга, роль которых в организации “импульсивного” и “самоконтролируемого” поведения в настоящее время активно обсуждается [Fettes et al., 2017; Hell et al., 2018; Morris et al., 2017; Rolls, Grabenhorst, 2008; Schultz, Dickinson, 2000; Tanaka et al., 2004; Watanabe, 1996; Witt et al., 2004; Zavala et al., 2014]. Префронтальные области коры, и в частности орбитофронтальная зона, тесно связаны с подкорковыми структурами и дают проекции в дорсомедиальные и вентральные области стриатума, прилежащее ядро (nucleus accumbens), ядра таламуса, вентральную тегментальную область, компактную часть черного вещества (substantia nigra, pars compacta), zona incerta, субталамическое ядро (subthalamic nucleus) [Cavada et al., 2000; Haynes, Haber, 2013; Nauta, 1964; Öngür et al., 1998; Rolls, 2000; Schultz, Tremblay, 2006]. Все эти структуры входят в состав распределенной нейронной сети, в так называемый “круг подкрепления”, и связаны с регуляцией целенаправленного поведения [Hikosaka et al., 2014]. Субталамическое ядро (subthalamic nucleus, STh) и прилегающая к нему zona incerta являются одним из важнейших звеньев этой системы и к настоящему времени плохо изучены. Субталамическое ядро входит в комплекс базальных ядер головного мозга и получает проекции как от моторных, так и от фронтальных областей коры в составе “суперпрямого пути” (“hyperdirect pathway”) [Baunez, Lardeux, 2011; Nambu et al., 2002].

Мы предположили, что проявление “импульсивности” в поведении может быть связано с активностью нейронов орбитофронтальной коры и субталамического ядра не только в периоды условнорефлекторных реакций, но и при межсигнальных реакциях. В связи с этим целью нашей работы было изучение функциональной роли орбитофронтальной коры и субталамического ядра в регуляции межсигнальных реакций.

МЕТОДИКА

Методика “права выбора” подкрепления

В эксперименте участвовали восемь взрослых здоровых кошек обоего пола со средним весом от 3 до 4 кг, возрастом от 2 до 10 лет. Эксперименты осуществляли с соблюдением принципов гуманности, изложенных в директивах Европейского Сообщества (86/609/ЕС) и одобренных Комитетом по медицинской этике в соответствии с положением Института высшей нервной деятельности и нейрофизиологии РАН о работе с экспериментальными животными. В эксперименте была использована методика “права выбора” подкрепления [Мержанова, Берг, 1991].

Схема эксперимента выглядела следующим образом: в первую секунду после включения света (условного сигнала, УС) педаль была заблокирована (нажатие на нее не приводило к получению подкрепления), со второй по третью секунды педаль была разблокирована, при нажатии на педаль в этот промежуток времени кошка получала хлебомясную смесь (5 г) (рис. 1(а)). УС выключался в момент корректного нажатия на педаль, и проба считалась завершенной. Если в течение трех секунд после включения условного раздражителя кошка не совершала инструментального нажатия на педаль, то в следующий период, с четвертой по девятую секунды, педаль была вновь заблокирована. На десятой–одиннадцатой секундах наступало следующее окно “активной” педали, при нажатии на педаль в этот временной промежуток кошка получала высококачественное пищевое подкрепление – мясо (5 г). УС действовал в течение сигнального периода и выключался по истечении максимального периода 11 с или при успешном нажатии на педаль, во всех этих случаях проба считалась законченной. Общая освещенность камеры составляла 2 Лк, в период действия условного света – 25 Лк. При эффективных реакциях после выключения УС подача кормушек включалась автоматически. Задержки в подаче хлебомясной смеси составляли 500 мс, при подаче мяса – 1 с, что было обусловлено техническими причинами. Время подачи кормушек с подкреплением рассматривали как периоды ожидания подкрепления.

Рис. 1.

Методика “права выбора” подкрепления. (а) Схема эксперимента. – включение условного раздражителя – света; – выключение условного раздражителя; б-периоды – педаль заблокирована: нажатие не приводило к получению подкрепления; а-периоды () – педаль “активна”: при нажатии животное получало подкрепление; к1, к2 – периоды движения кормушек; – межсигнальный период; ◻ – сигнальный период; – периоды регистрации первого нажатия; ◼ – ожидание подкрепления; – получение низкокачественного подкрепления – хлебомясной смеси (5 г); – получение высококачественного подкрепления – мяса (5 г). (б) Схемы из стереотаксического атласа головного мозга кошки Reinoso-Suarez F., 1961 г. Квадратами показана локализация вживленных полумикроэлектродов в область орбитофронтальной коры по результатам 12 операций AP +25 – +29 и субталамического ядра по результатам 9 операций AP +8.0 – +8.5; PRS – Sulcus praesylvius; TOL – Tractus olfactorius et Tractus tectoolivaris; BOL – Bulbus olfactorius; LAT – Sulcus lateralis; SUPS – sulcus suprasylvius; ENR – Cortex entorhinalis; ECSP – Sulcus ectosylvius posterior; SPL – Sulcus splenialis; RPS – Sulcus rhinicus posterior; CA – Hippocampus; GL – Corpus geniculatum laterale; HIP – Hypophysis; VTH – Nuclei ventralis thalami; M – Nucleus medialis dorsalis thalami; LP – Nucleus lateralis thalami, pars posterior; Sth – nucleus subthalami.

Fig. 1. Schematics of the behavior test “active choice” of different quality reinforcements. (а) The experiment design. – cue light onset; – switching-out of the cue light; б-periods – the pedal is blocked: pedal pressing didn’t lead to reinforcement; а-periods () – pedal is active: in response to pedal pressing an animal got a reinforcement; к1, к2 – periods of feeders movement; – intertrial period; ◻ – trial period; – periods of the first pedal pressing registration; ◼ – expectation of the reinforcement; – getting of the low-quality reinforcement – bread-meat mix (5 g); – getting of the high-quality reinforcement – meat (5 g). (б) Schemes from the stereotaxic atlas of cat’s brain Reinoso-Suarez F., 1961. The localization of semi-microelectrodes in the orbitofrontal cortex area due to results of 12 operations AP +25 – +29 and in the subthalamic nucleus due to results of 9 operations AP +8.0 – +8.5 is shown by squares. PRS – Sulcus praesylvius; TOL – Tractus olfactorius et Tractus tectoolivaris; BOL – Bulbus olfactorius; LAT – Sulcus lateralis; SUPS – sulcus suprasylvius; ENR– Cortex entorhinalis; ECSP – Sulcus ectosylvius posterior; SPL – Sulcus splenialis; RPS – Sulcus rhinicus posterior; CA – Hippocampus; GL – Corpus geniculatum laterale; HIP – Hypophysis; VTH – Nuclei ventralis thalami; M – Nucleus medialis dorsalis thalami; LP – Nucleus lateralis thalami, pars posterior; Sth – nucleus subthalami.

Если в течение пробы животное не совершало инструментальных действий в первое либо во второе временное окно “активной” педали, то не получало никакого подкрепления, а реакция классифицировалась как пропуск инструментальной реакции. Успешное нажатие педали в первые три секунды с получением низкокачественного подкрепления определяли как коротколатентную реакцию, а успешное нажатие педали с четвертой по одиннадцатую секунду с получением высококачественного подкрепления – как длиннолатентную (рис. 1 (а)). При выполнении поведенческой задачи у животных наблюдались ошибки разного типа: преждевременное снятие лапы с педали, “недожатие” педали или опоздание – нажатие на педаль в течение 1 с после выключения условного света.

Межсигнальное движение мы определяли как самоинициированное инструментальное движение (нажатие на педаль), совершаемое животным в период между пробами, не сопровождающееся получением подкрепления. Анализ межсигнальных периодов начинали после 1 с периода с момента завершения пробы и заканчивали за 1 с до начала следующей пробы. Поведение животного в интервале от 1 с до начала пробы до 1 с после окончания пробы рассматривали как часть условнорефлекторной реакции. Поэтому инструментальные ответы в период продолжительностью 1 с после завершения пробы классифицировали как ошибки животного. Средняя длительность межсигнального периода составляла 35.89 ± 26.31 с, и регулировалась экспериментатором. Во время межсигнального периода кошки гуляли по камере, занимались грумингом либо могли неподвижно сидеть и смотреть на педаль, обнюхивать кормушки, а также совершать межсигнальные инструментальные реакции. Готовность кошки к пробе определяли по ее характерной позе: сидит перед педалью, смотрит на педаль, при этом лапы находятся на полу камеры. В течение одного межсигнального периода животное могло совершить одно или несколько межсигнальных движений.

Перед каждым экспериментом у животных была пищевая депривация в течение 4–5 ч. Эксперимент проводился в одно и то же время суток. Вес животных контролировался на протяжении всего экспериментального периода.

Анализ результатов поведенческого тестирования проводили в программе Statistica 10 с использованием однофакторного дисперсионного анализа (one-way ANOVA) и post-hoc анализа Tukey, а также в программе MATLAB R2014a c применением метода кластерного анализа k-средних (k-means).

Хроническая регистрация и анализ мультинейронной активности

Каждому обученному животному проводили операцию по вживлению полумикроэлектродов в головной мозг под общей анестезией. Координаты вживления для орбитофронтальной коры были: AP +30–+26, L±4, H –6––13 (от поверхности головного мозга); для субталамического ядра: AP +8–+9, L ±4.5, H +6.5–+8 (от бинаурального нуля) (стереотаксические координаты выбраны согласно атласу головного мозга кошки [Reinoso-Suárez, 1961]). Полумикроэлектроды имели сопротивление порядка 500–600 Ом и позволяли вести экстраклеточную запись с приемлемым соотношением сигналов к шуму сразу от нескольких близко расположенных нейронов. Пучки полумикроэлектродов состояли из двух регистрирующих электродов – нихромовых проволок в заводской изоляции, каждая 50 мкм в диаметре и одной направляющей (нихром в заводской изоляции, 100 мкм). Проволоки вместе с направляющей склеивали дихлорэтановым клеем в пучки в виде щеточки и перед вживлением в головной мозг животного подрезали под углом 45°.

Локализация пучков полумикроэлектродов в мозге была определена с помощью прижизненного рентгенографического исследования у всех животных, магнитно-резонансного исследования, морфологического контроля (рис. 1 (б)). МРТ-сканирование было проведено на томографе Bruker BioSpec 70/30 (7 Тесла) на базе Лаборатории магнитной томографии и спектроскопии факультета фундаментальной медицины федерального государственного бюджетного образовательного учреждения высшего профессионального образования “Московский государственный университет имени М.В. Ломоносова” с помощью сотрудников лаборатории М.В. Гуляева и д.ф.-м.н. Н.В. Анисимова.

Во время каждого эксперимента регистрировали мультинейронную активность (МНА) из орбитофронтальной области коры и субталамического ядра. Для анализа мультинейронной активности использовалась программа Spike 2. Из канала нативной записи МНА в анализ брались только те события, амплитуда которых превышала шумовой порог в 1.5 раза и более. Затем проводили процедуру распознавания (сортинга) спайков из смешанных импульсных рядов. Выбор эталонов спайков осуществляли с помощью алгоритмов программы Spike 2 по форме спайков. Для выделенных “чистых” импульсных рядов проводили последующий анализ с построением интервальных и перистимульных гистограмм.

Перистимульные гистограммы позволяют выявить реакцию (изменение частоты разрядов) нейронов структуры в ответ на стимул или событие в различные периоды активности животного в ходе поведенческого тестирования. Для анализа поведения животного были выбраны следующие периоды: начало межсигнального движения, конец межсигнального движения, включение условного раздражителя при выполнении коротколатентных и длиннолатентных реакций и пропусков реакций, выключение условного раздражителя (света) при выполнении коротколатентных и длиннолатентных реакций и пропусков реакций, первое нажатие на педаль после условного сигнала при выполнении коротколатентных и длиннолатентных реакций, получение высококачественного и низкокачественного подкрепления. Анализ перистимульных гистограмм, построенных с использованием триггерного канала “выключение света”, давал возможность оценить реакцию нейронов на ожидание подкрепления, так как после окончания света подача кормушек включалась автоматически. Эпоха анализа гистограммы была 2 с (достимульный период 1 с, стимульный – 1 с); бин – 50 мс. Для сравнительного статистического анализа динамики нейронных ответов мы использовали следующие интервалы перистимульных гистограмм: 200 мс, 500 мс, 1 с. Анализировали изменения нейронной активности (активация/торможение), связанные с триггерным событием, сравнивали полученные данные с активностью этих нейронов в фоне. В качестве фоновых периодов рассматривали длительные промежутки между пробами, во время которых животные находились в стороне от кормушек и педали, в другой части экспериментальной камеры, не выполняли никаких инструментальных движений, не занимались грумингом. Мы анализировали не только индивидуальные ответы каждого нейрона, но и усредненные перистимульные гистограммы на различные стимулы. Для статистической оценки использовали непараметрический тест Манна–Уитни–Вилкоксона (Mann–Whitney test).

Анализ выделенных нейронов в соседних экспериментальных сессиях

При отборе нейронов для нейрофизиологического анализа использовали комплексный подход, который включал сравнительный анализ характеристик импульсного ряда нейронов (форма спайка, PCA, форма интервальной гистограммы) и оценку паттернов реакции нейронов в различные периоды активности животного по перистимульным гистограммам. Если форма и главные компоненты спайка нейрона, форма интервальной гистограммы сохранялись изо дня в день, эти критерии учитывались, и в последующий статистический анализ включали только один экспериментальный день, в котором регистрировался этот нейрон.

Для интегративной оценки паттернов реакции нейронов из смежных экспериментальных сессий в различные периоды активности животного мы использовали так называемые “гибридные” перистимульные гистограммы по каждому нейрону. Пример такой “гибридной” гистограммы приведен на рис. 2 (а). В “гибридную” перистимульную гистограмму включались все перистимульные гистограммы нейрона последовательно. “Гибридные” перистимульные гистограммы были составлены из временных отрезков от –500 мс до +500 мс относительно начала событий, затем нормализованы и преобразованы по методу spike density function с целью обозначить основные изменения динамики активности нейронов в сигнальный и постсигнальный периоды. Затем для всего массива “гибридных” перистимульных гистограмм проводили расчет коэффициентов корреляции. Если коэффициенты корреляции для гистограмм по нескольким соседним дням принимали значения в промежутке 0.8–0.99, мы считали это как дополнительный показатель того, что в эти экспериментальные сессии был зарегистрирован один и тот же нейрон (рис. 2 (б)). На рис. 2 (б) приведены распределения коэффициентов корреляции для всей выборки нейронов и для предположительно повторяющихся нейронов за несколько опытов. Видно, что распределение коэффициентов корреляции для разных нейронов имеет вид нормального распределения, в то время как распределение для коэффициентов корреляции повторяющихся нейронов смещено в область высоких значений.

Рис. 2.

Анализ нейронов из соседних экспериментальных сессий. (а) Пример “гибридных” перистимульных гистограмм для всех дней регистрации одного нейрона. – включение условного раздражителя – света; – выключение условного раздражителя; – первое нажатие на педаль, – снятие лапы с педали, – получение хлебомясной смеси; – получение мяса. КР – коротколатентная реакция, ДР – длиннолатентная реакция, МР – межсигнальная реакция. Пунктирные линии – начало события в каждой индивидуальной перистимульной гистограмме. (б) Распределение корреляционных коэффициентов “гибридных” гистограмм; слева – для всех нейронов в выборке, справа – для предположительно повторяющихся нейронов.

Fig. 2. Analysis of neurons in adjacent sessions. (а) An example of the “hybrid” peristimulus histograms for all days of recording of the same neuron. – cue light onset; – switching-out of the cue light; – first pedal pressing, – taking off the paw from the pedal, – getting of the piece of the bread-meat mix; – getting of the piece of meat. КР – short-latency reaction, ДР – long-latency reaction, МР – intertrial reaction. The dashed lines show the beginning of event in each individual peristimulus histogram. (б) Distribution of correlation coefficients of “hybrid” histograms; on the left for all recorded neurons, on the right for the putative same neurons.

Применение сравнительного анализа перистимульных гистограмм как дополнительного критерия для оценки стабильности регистрации нейронов было основано на собственных наблюдениях воспроизведения и сохранения паттернов активности у повторяющихся нейронов из соседних сессий. Похожие экспериментальные данные были получены в электрофизиологических работах в других областях мозга, например, в зрительной коре [Bondar et al., 2009; McMahon et al., 2014; Васильева и др., 2014].

Кластерный анализ активности нейронов

С целью охарактеризовать основные направления специализации нейронов орбитофронтальной коры и субталамического ядра был проведен иерархический кластерный анализ особенностей паттернов активности нейронов в периоды презентации условного сигнала, подкрепления или первого нажатия на педаль. Кластерный анализ проводился с использованием 7 первых принципиальных компонент “гибридной” перистимульной гистограммы каждого нейрона. Таким образом, в ходе анализа активность каждого нейрона представляла собой точку в семимерном пространстве. Далее вычислялись попарные евклидовы расстояния между точками и формировались кластеры по методу Ворда (Ward’s minimum variance method). Метод Ворда минимизирует дисперсию расстояний между точками внутри каждого кластера. Результатом кластерного анализа было выделение кластеров нейронов с похожими “гибридными” гистограммами и подсчет количества нейронов в каждом кластере. Иерархический кластерный анализ проводили в программе MATLAB R2014a.

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЙ

Поведение животных

В анализ были взяты 8 животных обоего пола. Всего было проведено 338 экспериментальных сессий, из них в дальнейший анализ было взято 65. Критериями отбора сессий для последующего анализа служило наличие хотя бы в одном канале МНА нейронов, выделенных в соответствии с указанными в разделе “Методика” правилами. Для каждого животного было взято в среднем по 8 ± 2 опытных дней (сессий).

Мы проводили оценку поведения животных по каждой экспериментальной сессии по нескольким параметрам: доля коротколатентных реакций в общем числе эффективных реакций, доля пропусков реакций в общем числе реакций, доля межсигнальных периодов с межсигнальными движениями в общем числе межсигнальных периодов, латентности первого нажатия на педаль при совершении коротко- и длиннолатентных реакций. При классификации животных по группам “импульсивные” и “самоконтролируемые” мы использовали комплексный подход. Первый этап включал сопоставление результатов статистического анализа основных параметров для каждого экспериментального животного. С этой целью была проведена серия дисперсионных анализов поведения 8 животных по каждому поведенческому параметру. Были получены статистически значимые отличия между животными по параметрам доли коротколатентных реакций в общем числе эффективных реакций (F(7; 57) = 4.89; p < 0.001), доли пропусков реакций в общем числе реакций (F(7; 57) = 3.7; p < 0.01), доли межсигнальных периодов с межсигнальными движениями в общем числе межсигнальных периодов (F(7; 57) = 2.39; p < 0.05), латентности нажатия на педаль при коротколатентных реакциях (F(7; 1158) = 9.82; p < 0.001), латентности нажатия на педаль при длиннолатентных реакциях (F(7; 1053) = 10.35; p < 0.001). Таким образом, мы сделали вывод, что экспериментальная группа из 8 животных неоднородна, и для дальнейшего анализа необходимо деление на группы с более выраженным “импульсивным” и “самоконтролируемым” поведением.

Для проверки распределения животных по группам мы использовали метод кластерного анализа k-средних (k-means). Для анализа брались нормализованные данные по трем критериям: доле длиннолатентных реакций в общем числе эффективных реакций, по латентностям длиннолатентных реакций, по доле пропусков реакций в общем числе реакций для каждого экспериментального дня у каждого животного. Экспериментальные дни распределились на два кластера: сессии с выраженным “импульсивным” поведением и сессии, в которых поведение было “самоконтролируемым” (рис. 3 (а)). Животных с “самоконтролируемым” поведением в большинстве экспериментальных дней объединили в группу “самоконтролируемые”, животных с выраженным “импульсивным” поведением включили в группу “импульсивные”. На следующем этапе проводили статистический анализ One-way ANOVA по этим группам.

Рис. 3.

Характеристика поведения животных “импульсивной” и “самоконтролируемой” групп. (а) Интегративная оценка параметров “импульсивного” поведения по каждому дню регистрации для каждой кошки с помощью кластерного анализа. Светло-серые маркеры – данные по кошкам “самоконтролируемой” группы, черные маркеры – данные по “импульсивным” кошкам. (б), (в) Результаты дисперсионного анализа поведенческих параметров: доля коротколатентных реакций в общем числе эффективных реакций (б), доля межсигнальных периодов с межсигнальными реакциями в общем числе межсигнальных периодов (в). Показаны среднее и стандартная ошибка среднего; ** p < 0.01; *** p < 0.001. Черными кружочками показано значение параметра для каждого животного.

Fig. 3. The characteristics of “impulsive” and “self-controlled” animals. (а) Integrative estimate of “impulsive” behavior for each day of recording for each cat using cluster analysis. Light-grey markers represent data for “self-controlled” cats, dark markers represent data for “impulsive” cats. (б), (в) Proportion of short-latency reactions in total number of effective reactions (б). Proportion of inter-trial periods with inter-trial reactions in total number of inter-trial periods (в). The mean and the standard error of mean are shown; ** p < 0.01; *** p < 0.001 (one-way ANOVA). The value of each parameter for each animal is shown with black circles.

Мы получили статистически значимые отличия между группами по признаку доля коротколатентных реакций в общем числе эффективных реакций (F(1; 63) = 23.12; p < 0.001) (рис. 3 (б)). Этот параметр был выше у животных “импульсивной” группы. Также статистически значимые отличия были получены по параметру доля пропусков реакций в общем числе реакций (F(1; 63) = 9.77; p < 0.01). У животных “самоконтролируемой” группы число пропусков реакций было выше. Доля межсигнальных периодов с межсигнальными реакциями в общем числе межсигнальных периодов была статистически значимо выше у животных “импульсивной” группы (F(1; 63) = = 15.11; p < 0.001) (рис. 3 (в)). Средние латентности нажатия на педаль при совершении коротколатентных и длиннолатентных реакций были больше у животных “самоконтролируемой” группы – 1.9 с и 5.9 с против 1.7 с и 5.2 с у “импульсивных” животных (F(1; 1164) = 14.58; p < 0.001 и F(1; 1059) = 23.49; p < 0.001) соответственно.

Таким образом, “импульсивную” группу можно было охарактеризовать как группу животных, имеющих большую долю коротколатентных реакций, меньше пропусков реакций и короткие латентности нажатия на педаль, а животные “самоконтролируемой” группы чаще выполняли задержанные длиннолатентные реакции, при этом имели большую долю пропусков реакций.

Анализ активности нейронов орбитофронтальной коры и субталамического ядра у животных “импульсивной” и “самоконтролируемой” групп

В анализ было взято 69 индивидуальных нейронов OFC: 53 индивидуальных нейрона у “импульсивных” животных и 16 нейронов у животных “самоконтролируемой” группы. В STh было выделено 55 индивидуальных нейронов: 35 индивидуальных нейронов у животных “импульсивной” группы и 20 нейронов у кошек “самоконтролируемой” группы.

Для оценки активности нейронов орбитофронтальной коры и субталамического ядра в период межсигнальных инструментальных движений мы анализировали усредненные перистимульные гистограммы, точками отсчета для которых являлись первое нажатие на педаль в межсигнальный период и снятие лапы с педали. Для сравнительного анализа мы брали перистимульные гистограммы в периоды первого нажатия на педаль, ожидания и получения подкрепления при совершении коротко- и длиннолатентных реакций, а также период окончания условного сигнала при пропусках реакции. Как было упомянуто выше, в отличие от инструментального движения, совершаемого в ответ на условный стимул, межсигнальное движение полностью самоинициировано и по условиям эксперимента не приводит к получению подкрепления. В случае пропусков реакций животное не совершало инструментальных действий в ответ на стимул и соответственно не получало подкрепление. При пропуске реакции как до, так и после выключения условного сигнала не наблюдалось статистически значимых изменений нейронной активности по сравнению с фоном, либо средняя частота нейронов была ниже фоновой (p < 0.05, тест Манна–Уитни).

Анализ активности нейронов в период начала инструментального движения

При анализе перистимульных гистограмм в период начала межсигнального движения и при выполнении длиннолатентных реакций было показано, что активность OFC-нейронов у животных обеих групп была ниже фоновой как до начала, так и после начала инструментального движения (рис. 4 (а)–(г)). У животных “импульсивной” группы при подготовке инструментального движения в межсигнальный период и во время длиннолатентной реакции средняя частота нейронов субталамического ядра не отличалась от фоновой до момента нажатия на педаль, и затем снижалась (рис. 5 (а), (в)).

Рис. 4.

Усредненные перистимульные гистограммы нейронов орбитофронтальной коры у животных “импульсивной” (N (нейронов) = 101, N (кошек) = 3) и “самоконтролируемой” (N (нейронов) = 36, N (кошек) = 5) групп. Стимулы: первое нажатие на педаль при совершении длиннолатентной реакции (а)–(б), первое нажатие на педаль при межсигнальном движении (в)–(г), окончание межсигнального движения (д)–(е), выключение условного сигнала – света при совершении длиннолатентной реакции (ж)–(з). Условные обозначения: черным прямоугольником обозначено время подачи кормушки. Сплошная линия – средняя частота активности нейронов, пунктирная линия – средняя фоновая активность нейронов, области серого цвета – стандартные ошибки среднего. “Ноль” по оси абсцисс – точка отсчета – время наступления стимула (обозначено вертикальной линией). * – p < 0.05. Сравнение нейронной активности в интервале 200 мс до и после стимула. + – p < 0.05. Сравнение с фоновой активностью в интервале 200 мс после стимула. ++ – p < 0.05. Сравнение с фоновой активностью в интервале 200 мс до стимула. X – p < 0.05. Сравнение с фоновой активностью в интервале 1000 мс после стимула. XX – p < 0.05. Сравнение с фоновой активностью в интервале 1000 мс до стимула (тест Манна – Уитни). Остальные обозначения см. рис. 1, 2.

Fig. 4. The average peristimulus histograms for the orbitofrontal cortex neurons in “impulsive” animals (N (neurons) = 101, N (cats) = 3) and in “self-controlled” animals (N (neurons) = 36, N (cats) = 5). The stimulus: the first pedal pressing during long-latency reaction (а)–(б), the first pedal pressing of inter-trial movement (в)–(г); the end of inter-trial movement (д)–(е), the light offset during long-latency reaction (ж)–(з). The black rectangle shows the feeder delivery period. The solid line represents the mean firing rate of neurons, the dashed grey line represents the mean of the background firing rate of neurons, the grey regions are the standard error of means. “Zero” on the x-axis is the trigger point (marked by a vertical line). * – p < 0.05. Comparison of 200 ms periods before and after the stimulus. + – p < < 0.05. Comparison of 200 ms period after the stimulus with the background activity. ++ – p < 0.05. Comparison of 200 ms period before the stimulus with the background activity. X – p < 0.05. Comparison of 1000 ms period after the stimulus with the background activity. XX – p < 0.05. Comparison of 1000 ms periods after the stimulus with the background activity (Mann-Whitney test). See the legend at figures 1, 2.

Рис. 5.

Усредненные перистимульные гистограммы нейронов субталамического ядра животных “импульсивной” (N (нейронов) = 76, N (кошек) = 3) и “самоконтролируемой” (N (нейронов) = 20, N (кошек) = 3) групп. Стимулы: первое нажатие на педаль при совершении длиннолатентной реакции (а)–(б), первое нажатие на педаль при межсигнальном движении (в)–(г), окончание межсигнального движения (д)–(е), выключение условного сигнала – света при совершении длиннолатентной реакции (ж)–(з). Условные обозначения см. рис. 1, 2, 4.

Fig. 5. The average peristimulus histograms for the subthalamic nucleus’ neurons in animals of the “impulsive” (N (neurons) = 76, N (cats) = 3) and the “self-controlled” (N (neurons) = 20, N (cats) = 3) groups. The stimulus: the first pedal pressing during long-latency reaction (а) –(б), the first pedal pressing of inter-trial movement (в)–(г); the end of inter-trial movement (д)–(е), the light offset during long-latency reaction (ж)–(з). See the legend at figures 1, 2, 4.

В период подготовки к инструментальной реакции “самоконтролируемыми” животными, вне зависимости от того, какого типа эта реакция, – коротколатентная, длиннолатентная или межсигнальное движение – наблюдалось увеличение, а после нажатия – снижение активности нейронов субталамического ядра (рис. 5 (б), (г)).

Анализ активности нейронов в период ожидания подкрепления и после окончания межсигнального движения

На рис. 4 (д)–(з) приведены усредненные перистимульные гистограммы OFC-нейронов для животных “импульсивной” и “самоконтролируемой” групп. Видно, что после окончания условного сигнала при длиннолатентных реакциях наблюдалась активация нейронов OFC. Основными временными периодами изменения динамики активности нейронов и увеличения частоты являлись 200 мс – 500 мс периоды после выключения условного сигнала. После завершения межсигнального движения средняя частота нейронов была ниже у “импульсивных” животных или не отличалась от средней фоновой частоты у “самоконтролируемых” животных. У животных “самоконтролируемой” группы средняя частота OFC нейронов была выше фоновой за 200 мс до окончания межсигнального движения.

При ожидании различного по качеству подкрепления животными “импульсивной” группы, как в случае коротко- и длиннолатентных реакций, а также после окончания межсигнальных движений, частота нейронов субталамического ядра увеличивалась (рис. 5 (д), (ж)). Подробный анализ по различным периодам усредненной перистимульной гистограммы показал статистически значимое увеличение частоты при сравнении 500 мс периодов до и после выключения условного сигнала для каждого типа эффективных реакций.

При окончании межсигнального движения активность нейронов субталамического ядра постепенно увеличивалась по сравнению с фоном (рис. 5 (д)). При сравнении 200 мс или 500 мс периодов усредненной перистимульной гистограммы до и после окончания межсигнального движения наблюдалось увеличение средней частоты нейронов.

У животных “самоконтролируемой” группы до окончания межсигнального движения и до выключения света при совершении длиннолатентной реакции частота нейронов субталамического ядра была выше фоновой (рис. 5 (е), (з)). После окончания межсигнального движения и после выключения условного сигнала при длиннолатентной реакции нейронная активность оставалась выше фоновой. Вместе с тем при сравнении 500 мс периодов усредненной перистимульной гистограммы до и после окончания межсигнального движения наблюдалось увеличение средней частоты нейронов.

Таким образом, нейроны субталамического ядра у животных обеих групп активировались в период ожидания подкрепления. Окончание межсигнального движения также сопровождалось увеличением средней частоты нейронов STh, хотя никакого подкрепления за межсигнальные реакции по условиям эксперимента не предполагалось.

Кластерный анализ активности нейронов

С целью исследовать индивидуальные ответы нейронов орбитофронтальной коры и субталамического ядра в период межсигнальных реакций и в сигнальные периоды и выявить нейроны, отвечающие на подкрепление, которые также активны в период окончания межсигнальных реакций, был проведен иерархический кластерный анализ. Кластерный анализ позволил получить более подробное представление о составе нейронной популяции и вкладе каждого нейрона в общие динамические процессы, которые прослеживались в усредненных перистимульных гистограммах. По результатам кластерного анализа удалось выявить несколько основных кластеров в каждой структуре на основании особенностей паттернов активности нейронов в определенные периоды времени презентации сигнала, подкрепления или нажатия на педаль (рис. 6 (а), (б)). В анализ брали нейроны животных обеих групп совместно, так как размер выборки нейронов “самоконтролируемых” животных не позволял провести по этой группе отдельный кластерный анализ.

Рис. 6.

Результаты кластерного анализа активности нейронов орбитофронтальной коры (а) и нейронов субталамического ядра (б). Представлены “гибридные” перистимульные гистограммы, ранжированные по номеру кластеров нейронов. Черные пунктирные линии – точки отсчета. Шкала оттенков серого – частота разрядов в относительных единицах. Условные обозначения как на рис. 1, 2.

Fig. 6. The results of cluster analysis of activity of the orbitofrontal cortex neurons (а); the subthalamic nucleus neurons (б). The “hybrid” peristimulus histograms are ordered according to the cluster number. The black dashed lines represent the trigger points; the grey scale is the firing rate in relative units. See the legend at the figures 1, 2.

Относительно большие кластеры как в орбитофронтальной коре, так и в субталамическом ядре представляли группы нейронов, активность которых можно охарактеризовать как связанную с ожиданием и получением подкрепления. Так, 40.5% нейронов OFC (28 из 69 нейронов, кластеры № 5 и № 7) и 25.5% STh-нейронов (14 из 55 нейронов, кластер № 1) активировались при ожидании и получении обоих типов подкрепления. 10% (7 из 69 нейронов, кластер № 4) OFC-клеток активировались преимущественно при получении высококачественного подкрепления, и отдельные группы клеток увеличивали активность в период ожидания и получения низкокачественного подкрепления (10%; 7 из 69 OFC-нейронов, кластер № 6, и 9.1%; 5 из 55 STh-нейронов, кластер № 6). Отдельные кластеры составляли нейроны, которые активировались в периоды окончания межсигнального движения и получения высококачественного подкрепления – мяса (20%; 11 из 55 STh-нейронов, кластер № 3), либо преимущественно в период окончания межсигнального движения (18.8%; 13 из 69 OFC-нейронов, кластер № 2). Была выявлена отдельная популяция нейронов, которые, напротив, тормозились при получении подкрепления, но имели относительно высокую частоту разрядов в фоновый период, а в период действия условного сигнала снижали свою активность (13%; 9 из 69 OFC-нейронов, кластер № 1 и 10.9%; 6 из 55 STh-нейронов, кластер № 4). И в орбитофронтальной коре и в субталамическом ядре были обнаружены группы нейронов, увеличение активности которых было связано преимущественно с нажатием на педаль при длиннолатентных, коротколатентных и при межсигнальных реакциях (7.2%, 5 из 69 OFC-нейронов, кластер № 3, и 20%; 11 из 55 STh-нейронов, кластер № 2).

Результаты кластерного анализа и анализа усредненных перистимульных гистограмм дополняют друг друга, позволяя более полно характеризовать функциональную роль нейронов орбитофронтальной коры и субталамического ядра в “импульсивном” и “самоконтролируемом” поведении. В исследованных структурах головного мозга можно выделить отдельные популяции нейронов, активирующихся при получении высококачественного подкрепления и при окончании межсигнального движения. По-видимому, это состояние “подкрепления”, которое возникает при получении пищевого вознаграждения, частично воспроизводится и при завершении межсигнальных реакций.

ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ

Экспериментальная модель на кошках “право выбора” подкрепления, которая была использована в нашей работе, дает возможность исследовать как “импульсивность действия”, так и “импульсивный выбор”. Модель “право выбора” подкрепления была разработана исследовательской группой Г.Х. Мержановой [Мержанова, Берг, 1991] и представляет собой модифицированный вариант теста delay discounting. Ключевым условием эксперимента является то, что животное самостоятельно принимает решение о нажатии на педаль в рамках установленных временных периодов для получения низкокачественного или высококачественного подкрепления. Таким образом, можно оценить “импульсивный выбор” по предпочтению коротколатентных реакций с низкокачественным подкреплением, а количество межсигнальных реакций позволяет оценить уровень “импульсивности действия”.

Исследование феномена межсигнальных реакций и анализ активности нейронов различных структур мозга в межсигнальные периоды пока не получили подробного освещения в научной литературе. Межсигнальное движение – это самоинициированное инструментальное движение в отсутствие внешнего триггерного сигнала, которое не подкрепляется. Таким образом, с точки зрения оптимизации поведения животного после выработки условного рефлекса эти межсигнальные движения не имеют смысла. Вместе с тем при тестировании даже у обученных животных регистрируются межсигнальные реакции. У “импульсивных” животных они присутствуют чаще, чем у животных, способных к самоконтролю. Нейрофизиологические механизмы формирования и поддержания межсигнальных реакций на уровне отдельных структур головного мозга остаются не ясны.

В литературе высказывается несколько гипотез о механизме формирования межсигнальных реакций [Merzhanova, 1997; Думенко, Козлов, 1997; Пакович, 1971]. В работе Б.И. Паковича на собаках с выработкой оборонительных и пищевых классических условных рефлексов межсигнальные реакции трактуются шире, чем просто воспроизведение животным выученной реакции в отсутствие условного раздражителя [Пакович, 1971]. Б.И. Пакович оценивает все реакции животного в межсигнальный период, включая наклоны головы в сторону источника условного раздражителя, обнюхивание лапы с наложенными электродами для электрокожного раздражения, и приходит к выводу, что межсигнальные реакции могут быть связаны с выработкой рефлекса не только на условный сигнал, но и на обстановку – контекст. Автор отмечает, что полученные данные, вероятно, свидетельствуют о быстром замыкании и упрочнении условных связей между элементами обстановки, контекстом и безусловным раздражителем.

Одна из гипотез о механизмах формирования межсигнальных реакций, которая получила распространение в отечественной литературе, это гипотеза об “обратных условных связях” в условнорефлекторной дуге [Merzhanova, 1997; Асратян, 1977; Давыдова, 1986; Думенко, Козлов, 1997; Пакович, 1971; Руденко, 1974; Скипин и др., 1955]. Согласно этой гипотезе, возбуждение от структур мозга, связанных с подкреплением, передается по “обратным” временным связям к мозговым центрам условного раздражителя и двигательным областям, повышая их возбудимость, что в свою очередь запускает межсигнальную реакцию. При этом “обратные условные связи” играют важную роль в формировании условного рефлекса в целом, создавая условия для лучшего восприятия стимула.

Принимая во внимание результаты, полученные в работах Г.Х. Мержановой, Б.И. Паковича и других исследователей, и сопоставляя их с нашими наблюдениями, мы можем предположить, что в нашей экспериментальной модели у животных в процессе обучения вырабатывается несколько параллельных условных рефлексов. А именно: условный сигнал – реакция животного – подкрепление и контекст – условный сигнал – реакция животного – подкрепление. В дальнейшем даже после упрочения и дифференциации рефлекса у животного остается ассоциативная связь между элементами обстановки и условным сигналом и соответственно возможным подкреплением. Таким образом, в ходе тестирования мы, по-видимому, параллельно регистрировали выученный инструментальный рефлекс и межсигнальные реакции – рефлексы, запускаемые элементами обстановки экспериментальной камеры, в нашем случае – педалью.

Функциональная роль нейронов орбитофронтальной коры и субталамического ядра как структур, тесно связанных друг с другом и входящих в круг структур, вовлеченных в регуляцию целенаправленного поведения, представляет особый интерес. По электрофизиологическим данным, полученным на обезьянах, орбитофронтальная кора и субталамическое ядро связаны с оценкой подкрепления [Espinosa-Parrilla et al., 2013; Tremblay, Schultz, 1999a; Wallis, Miller, 2003].

С помощью кластерного анализа были обнаружены группы нейронов в орбитофронтальной коре и в субталамическом ядре, увеличение активности которых было связано преимущественно с нажатием на педаль как при длиннолатентных, так и при коротколатентных реакциях и при межсигнальных движениях. У животных обеих групп после первого нажатия на педаль активность нейронов субталамического ядра снижалась. Вместе с тем до нажатия на педаль у кошек “импульсивной” группы средняя частота нейронов субталамического ядра в основном не отличалась от фоновой средней частоты, а у кошек “самоконтролируемой” группы частота нейронов субталамического ядра была выше фоновой. Таким образом, можно предположить, что у животных “самоконтролируемой” группы нейроны субталамического ядра были более активны в период подготовки инструментальной реакции по сравнению с нейронами субталамического ядра “импульсивных” животных.

Наши экспериментальные данные позволяют предположить, что активность нейронов субталамического ядра важна не только для подготовки инструментального движения, но и для оценки полученного подкрепления, а также в период ожидания подкрепления. Похожие выводы были сделаны и в экспериментальных работах на обезьянах [Espinosa-Parrilla et al., 2013]. В статье Дж.Ф. Эспиноза-Парилла и соавт. исследовали активность нейронов субталамического ядра обезьян в тесте достижения цели (reaching task). Сразу после правильного ответа обезьяна получала апельсиновый сок. Исследователями было показано, что большинство нейронов субталамического ядра активировалось после достижения корректной мишени (то есть в период ожидания подкрепления). Анализ данных об анатомо-морфологических связях субталамического ядра с другими структурами мозга приводит к выводу, что субталамическое ядро включено в несколько параллельных путей, которые связаны с регуляцией моторных ответов, и благодаря проекциям из лимбических структур мозга нейроны субталамического ядра одновременно участвуют и в регуляции сложных когнитивных функций, выборе стратегии поведения, в анализе информации о подкреплении.

Как у “импульсивной”, так и “самоконтролируемой” групп животных активность нейронов орбитофронтальной коры и субталамического ядра в ответ на ожидание подкрепления увеличивалась. Вопросы корреляции активности нейронов префронтальной коры с различными параметрами подкрепления хорошо проработаны в экспериментальных моделях на обезьянах. В опытах на обезьянах было показано, что активность орбитофронтальных нейронов увеличивалась во время ожидания подкрепления, и чем предпочтительнее было подкрепление, чем выше была его ценность, тем выше была активность орбитофронтальной коры [Tremblay, Schultz, 1999b]. В экспериментах Дж. Уоллиса и К. Миллера на обезьянах исследовали вопрос о кодировании нейронами орбитофронтальной коры количества подкрепления. Результаты показали, что отдельные нейроны орбитофронтальной коры меняли частоту разрядов в зависимости от количества ожидаемого и получаемого сока [Wallis, Miller, 2003].

Анализ гистограмм периодов ожидания и получения подкрепления в наших экспериментах показал увеличение активности нейронов орбитофронтальной коры в эти периоды по сравнению с фоновой активностью. Согласно нашим результатам и литературным данным, можно сделать вывод, что нейроны орбитофронтальной коры передают интегрированную информацию о подкреплении. Результаты наших экспериментов вместе с литературными данными, полученными на других поведенческих моделях, позволяют сделать вывод о важной роли нейронов орбитофронтальной коры для формирования субъективной оценки пищевого подкрепления и, в более широком смысле, оценки результатов собственных действий индивида [Thorpe et al., 1983; Watanabe, 1996], а также в принятии решений [McClure et al., 2004].

В наших экспериментах мы наблюдали, что после окончания межсигнального движения нейроны субталамического ядра активировались, как и в период ожидания подкрепления после выполнения эффективных реакций. При окончании межсигнальных инструментальных реакций активность нейронов субталамического ядра была выше фоновой и у “импульсивных”, и у “самоконтролируемых” животных. Кластерный анализ также показал наличие отдельных групп клеток в субталамическом ядре и в орбитофронтальной коре, которые были активны в периоды получения высококачественного подкрепления и окончания межсигнальных реакций. Эти результаты дают нам основание предполагать, что в период окончания межсигнального движения животные ожидали подкрепление несмотря на то, что по условиям эксперимента не получали его за межсигнальные нажатия на педаль.

Наши результаты можно рассмотреть в контексте гипотезы “обратных условных связей”, подразумевая, что сигналы от нейронов, связанных с оценкой подкрепления по обратным связям идут в моторные области и оказывают побудительное влияние на моторное представительство передней лапы, что в свою очередь приводит к инициации межсигнального движения. Однако по результатам кластерного анализа нейроны, которые активируются перед нажатием на педаль, и нейроны, связанные с реакцией на подкрепление и активирующиеся после межсигнальных реакций, представляют разные популяции. По-видимому, межсигнальные реакции представляют собой самостоятельный инструментальный рефлекс, который поддерживается активацией нейронов структур, входящих в “сеть подкрепления” головного мозга, в частности, субталамического ядра и орбитофронтальной коры.

ЗАКЛЮЧЕНИЕ

Нейрофизиологические механизмы поддержания межсигнальных реакций следует рассматривать с точки зрения функционального состояния нейронной сети в этот период. Мы предполагаем, что активность нейронов субталамического ядра и орбитофронтальной коры поддерживает состояние ожидания подкрепления, сообщает информацию об этом другим структурам, которые входят в “сеть подкрепления” и таким образом препятствует полному угашению межсигнальных реакций, поддерживая их статус “подкрепляемых”, то есть “полезных”, во внутренней сети головного мозга.

Список литературы

  1. Асратян Э. Очерки по высшей нервной деятельности. Е.: Изд-во АН АрмССР, 1977. 347 с.

  2. Васильева Л.Н., Бадаква А.М., Миллер Н.В., Зобова Л.Н., Рощин В.Ю., Бондарь И.В. Длительная регистрация одиночных нейронов и критерии ее оценки. Журн. высш. нерв. деят. 2014. 64 (6): 693–701.

  3. Венгер А.Л. Психология развития. Словарь. Психологический лексикон. Энциклопедический словарь в шести томах. Ред.-сост. Л.А. Карпенко. Под общ. ред. А.В. Петровского. М.: ПЕР СЭ. 2005. 176 с.

  4. Давыдова Е. Движение как сигнал. М.: Наука, 1986. 200 с.

  5. Думенко В.Н., Козлов М.К. Пачки высокочастотной синхронизированной активности в нео-кортексе собак в процессе пищевого инструментального обучения. Журн. высш. нерв. деят. 1997. 47 (5): 828–838.

  6. Мержанова Г.Х., Берг А.М. Выбор качества подкрепления, зависящего от времени задержки инструментальной реакции у кошек. Журн. высш. нервн. деят. 1991. 41 (5): 948–954.

  7. Пакович Б.И. О природе межсигнальных реакций, проявляющихся в раннем периоде выработки условных рефлексов. Журн. высш. нерв. деят. 1971. 21 (5): 904–913.

  8. Руденко Л.П. Функциональная организация элементарных и сложных форм условнорефлекторной деятельности. М.: Наука, 1974. 222 с.

  9. Скипин Г.В., Антонова А.А., Асланова И.Ф., Винник Р.Л. О функциональной природе так называемых произвольных пищевых движений у собак. Труды ин-та ВНД и НФ. Сер. физиол. 1955. 1: 27–36.

  10. Baunez C., Lardeux S. Frontal cortex-like functions of the subthalamic nucleus. Front. Syst. Neurosci. 2011. 5: 83.

  11. Bondar I.V., Leopold D.A., Richmond B.J., Victor J.D., Logothetis N.K. Long-term stability of visual pattern selective responses of monkey temporal lobe neurons. PLoS One. 2009. 4 (12): e8222.

  12. Cavada C., Compañy T., Tejedor J., Cruz-Rizzolo R.J., Reinoso-Suárez F. The anatomical connections of the macaque monkey orbitofrontal cortex. A review. Cereb. Cortex. 2000. 10 (3): 220–242.

  13. Dalley J.W., Roiser J.P. Dopamine, serotonin and impulsivity. Neuroscience. 2012. 215: 42–58.

  14. Espinosa-Parrilla J.-F., Baunez C., Apicella P. Linking reward processing to behavioral output: motor and motivational integration in the primate subthalamic nucleus. Front. Comput. Neurosci. 2013. 7: 175.

  15. Evenden J. Impulsivity: a discussion of clinical and experimental findings. J. Psychopharmacol. 1999. 13 (2): 180–192.

  16. Fettes P., Schulze L., Downar J. Cortico-striatal-thalamic loop circuits of the orbitofrontal cortex: promising therapeutic targets in psychiatric illness. Front. Syst. Neurosci. 2017. 11: 25.

  17. Haynes W.I.A., Haber S.N. The organization of prefrontal-subthalamic inputs in primates provides an anatomical substrate for both functional specificity and integration: implications for Basal Ganglia models and deep brain stimulation. J. Neurosci. 2013. 33 (11): 4804–4814.

  18. Hell F., Taylor P.C.J., Mehrkens J.H., Bötzel K. Subthalamic stimulation, oscillatory activity and connectivity reveal functional role of STN and network mechanisms during decision making under conflict. Neuroimage. 2018. 171: 222–233.

  19. Hikosaka O., Kim H.F., Yasuda M., Yamamoto S. Basal ganglia circuits for reward value-guided behavior. Annu. Rev. Neurosci. 2014. 37: 289–306.

  20. McClure S.M., Laibson D.I., Loewenstein G., Cohen J.D. Separate neural systems value immediate and delayed monetary rewards. Science. 2004. 306 (5695): 503–507.

  21. McMahon D.B.T., Jones A.P., Bondar I.V., Leopold D.A. Face-selective neurons maintain consistent visual responses across months. Proc. Natl. Acad. Sci. U.S.A. 2014. 111 (22): 8251–8256.

  22. Merzhanova G.K. Interneuronal cortical connections and intertrial responses in appetitive instrumental learning. Acta Neurobiol. Exp. 1997. 57 (3): 247–253.

  23. Morris L.S., Baek K., Voon V. Distinct cortico-striatal connections with subthalamic nucleus underlie facets of compulsivity. Cortex. 2017. 88: 143–150.

  24. Nambu A., Tokuno H., Takada M. Functional significance of the cortico subthalamo pallidal “hyperdirect” pathway. Neurosci. Res. 2002. 43: 111.

  25. Nauta W.J.H. Some efferent connections of the prefrontal cortex in the monkey. The Frontal Granular Cortex and Behavior. Ed. J.M. Warren, K. Akert. New York: McGraw-Hill, 1964. 397–409 pp.

  26. Nocjar C., Roth B.L., Pehek E.A. Localization of 5-HT(2A) receptors on dopamine cells in subnuclei of the midbrain A10 cell group. Neuroscience. 2002. 111 (1): 163–176.

  27. Öngür D., An X., Price J.L. Prefrontal cortical projections to the hypothalamus in Macaque monkeys. J. Comp. Neurol. 1998. 401 (4): 480–505.

  28. Pattij T., Vanderschuren L.J.M.J. The neuropharmacology of impulsive behaviour. Trends Pharmacol. Sci. 2008. 29 (4): 192–199.

  29. Reinoso-Suárez F. Topographischer Hirnatlas der Katze für Experimental- physiologische Untersuchungen. Darmstadt: Merck, 1961. 24 pp.

  30. Rolls E.T. The orbitofrontal cortex and reward. Cereb. Cortex. 2000. 10 (3): 284–294.

  31. Rolls E.T., Grabenhorst F. The orbitofrontal cortex and beyond: from affect to decision-making. Prog. Neurobiol. 2008. 86 (3): 216–244.

  32. Schultz W., Dickinson A. Neuronal coding of prediction errors. Annu. Rev. Neurosci. 2000. 23: 473–500.

  33. Schultz W., Tremblay L. Involvement of primate orbitofrontal neurons in reward, uncertainty, and learning. Orbitofrontal cortex. Ed. Zald D.H., Rauch S.L. Oxford: Oxford University Press, 2006. 173–198 pp.

  34. Tanaka S.C., Doya K., Okada G., Ueda K., Okamoto Y., Yamawaki S. Prediction of immediate and future rewards differentially recruits cortico-basal ganglia loops. Nat. Neurosci. 2004. 7 (8): 887–893.

  35. Thorpe S.J., Rolls E.T., Maddison S. The orbitofrontal cortex: neuronal activity in the behaving monkey. Exp. Brain Res. 1983. 49 (1): 93–115.

  36. Tremblay L., Schultz W. Relative reward preference in primate orbitofrontal cortex. Nature. 1999a. 398: 704–708.

  37. Tremblay L., Schultz W. Relative reward preference in primate orbitofrontal cortex. Nature. 1999b. 398 (6729): 704–708.

  38. Wallis J.D., Miller E.K. Neuronal activity in primate dorsolateral and orbital prefrontal cortex during performance of a reward preference task. Eur. J. Neurosci. 2003. 18 (7): 2069–2081.

  39. Watanabe M. Reward expectancy in primate prefrontal neurons. Nature. 1996. 382: 629–632.

  40. Winstanley C.A., Eagle D.M., Robbins T.W. Behavioral models of impulsivity in relation to ADHD: translation between clinical and preclinical studies. Clin. Psychol. Rev. 2006. 26 (4): 379–395.

  41. Witt K., Pulkowski U., Herzog J., Lorenz D., Hamel W., Deuschl G., Krack P. Deep brain stimulation of the subthalamic nucleus improves cognitive flexibility but impairs response inhibition in Parkinson disease. Arch. Neurol. 2004. 61 (5): 697–700.

  42. Zavala B.A., Tan H., Little S., Ashkan K., Hariz M., Foltynie T., Zrinzo Ludvic., Zaghloul K.A., Brown P. Midline frontal cortex low-frequency activity drives subthalamic nucleus oscillations during conflict. J. Neurosci. 2014. 34 (21): 7322–7333.

Дополнительные материалы отсутствуют.

Инструменты

следующая статья выпуска предыдущая статья выпуска содержание выпуска

Журнал высшей нервной деятельности им. И.П. Павлова

Архивы выпусков Информация о журнале Отправить рукопись в журнал