Журнал высшей нервной деятельности им. И.П. Павлова, 2021, T. 71, № 2, стр. 202-212

Модель нейронного механизма инструментализации движений, вызванных стимуляцией двигательной коры

В. И. Майоров *

Кафедра высшей нервной деятельности Московского государственного университета им. М.В. Ломоносова
Москва, Россия

* E-mail: vimaiorov@mail.ru

Поступила в редакцию 04.09.2020
После доработки 18.10.2020
Принята к публикации 22.12.2020

Аннотация

Представлена модель нейронного механизма инструментализации (спонтанного воспроизведения) движений, вызываемых подкрепляемой стимуляцией двигательной коры. Инструментализация основана на усилении возбудительных связей пирамидных нейронов коры: 1) с дофаминовыми нейронами, 2) между собой в условиях “дофаминовой модуляции”. Правильное изменение связей между пирамидными нейронами критически зависит от ослабления модуляции сразу после достижения целевого состояния нейронной активности.

Ключевые слова: условный рефлекс, мотивация, подкрепление, кора, дофамин, НМДА-рецепторы, двунаправленная синаптическая пластичность

DOI: 10.31857/S0044467721020064

Список литературы

  1. Анохин П.К. Предисловие к книге: Конорски Ю. Интегративная деятельность мозга. М. Изд-во “Мир”. 1970. 412 с.

  2. Ашмарин И.П., Ещенко Н.Д., Каразеева Е.П. Нейрохимия в таблицах и схемах. М. Изд-во “Экзамен”. 2007. 143 с.

  3. Конорски Ю. Интегративная деятельность мозга. М. Изд-во “Мир”. 1970. 412 с.

  4. Лис Э. Дж. По наставлениям сумасшедшего. Эксперимент Уильяма Берроуза. М. 2020. 255 с.

  5. Майоров В.И. Пластические свойства синаптической передачи как возможный механизм обучения. В кн.: Пластичность нервных клеток. М. Изд-во МГУ. 1977: 70–97.

  6. Майоров В.И. Функции дофамина в инструментальном условном рефлексе. Журнал высшей нервной деятельности им. И.П. Павлова. 2018. 68 (4): 404–414.

  7. Павлов И.П. Физиологический механизм так называемых произвольных движений. В кн.: Двадцатилетний опыт объективного изучения высшей нервной деятельности (поведения) животных. М. Изд-во “Наука”. 1973: 481–485.

  8. Фельдман А.Г. Центральные и рефлекторные механизмы управления движениями. 1979. М.: “Наука”. 184 с.

  9. Хекхаузен Х. Мотивация и деятельность. 2003. СПб.: “Питер”. М.: “Смысл”. 859 с.

  10. Ballard I.C., Murty V.P., Carter R.M., MacInnes J.J., Huettel S.A., Adcock R.A. Dorsolateral prefrontal cortex drives mesolimbic dopaminergic regions to initiate motivated behavior. J. Neurosci., 2011. 31 (28): 10340–10346.

  11. Berridge K.C. The debate over dopamine’s role in reward: the case for incentive salience. Psychopharmacology. 2007. 191: 391–431.

  12. Bittner K.C., Milstein A.D., Grienberger C., Romani S., Magee J.C. Behavioral time scale synaptic plasticity underlies CA1 place fields. Science. 2017. 357: 1033–1036.

  13. Bolles R.C. Reinforcement, expectancy, and learning. Psychological Review. 1972. 79 (5): 394–409.

  14. Cepeda C., Levine M.S. Where do you think you are going? The NMDA-D1 receptor trap. Science’s stke. 2006: 1–5.

  15. Chen G., Greengard P., Yan Z. Potentiation of NMDA receptor currents by dopamine D1 receptors in prefrontal cortex. PNAS. 2004. 101 (8): 2596–2600.

  16. De Wit S., Dickinson A. Associative theories of goal-directed behavior: A case for animal-human translational models. Psychological Research (2009) 73 (4): 463–476.

  17. Fanselow M.S.,Wassum K.M. The origins and organization of vertebrate Pavlovian conditioning. 2016. Cold Spring Harb Perspect Biol. 2016. 8: a021717.

  18. Flagel S.B., Clark J.J., Robinson T.E., Mayo L., Czuj A., Willuhn I., Akers C.A., Clinton S.M., Phillips P.E., Akil H. A selective role for dopamine in stimulus-reward learning. Nature. 2011. 469 (7328): 53–57.

  19. Flores-Hernández J., Cepeda K., Hernández-Echeagaray E., Calvert C.R., Jokel E.S., Fienberg A.A., Greengard P., Levine M.S. Dopamine Enhancement of NMDA Currents in Dissociated Medium-Sized Striatal Neurons: Role of D1 Receptors and DARPP-32. J. Neurophysiol. 2002. 88: 3010–3020.

  20. Frémaux N., Gerstner W. Neuromodulated spike-timing-dependent plasticity, and theory of three-factor learning rules. Frontiers in Neural Circuits. 2016. 9 (85): 1–19.

  21. Giszter S.F., Mussa-lvaldi F.A., Emilio Bizzi E. Convergent Force Fields Organized in the Frog’s Spinal Cord. J. Neurosci. 1993. 73 (2): 467–491.

  22. Glimcher P.W. Understanding dopamine and reinforcement learning – the dopamine reward prediction error hypothesis. Proc Natl Acad Sci U S A. 2011. 108 (Suppl 3): 15647–54.

  23. Graziano M.S.A., Taylor C.S.R., Moore T. Complex Movements Evoked by Microstimulation of Precentral Cortex. Neuron. 2002. 34 (5): 841–851.

  24. Hamid A.A., Pettibone J.R., Mabrouk O.S., Hetrick V.L., Schmidt R., Vander Weele C.M., Kennedy R.T., Aragona B.J., Berke J.D. Mesolimbic dopamine signals the value of work. Nat Neurosci. 2016. 19 (1):117–126.

  25. He K., Huertas M., Hong S.Z., Tie X.X., Hell J.W, Shouval H., Kirkwood A. Distinct Eligibility Traces for LTP and LTD in Cortical Synapses. Neuron. 2015. 88: 1–11.

  26. Hong S., Hikosaka O. Dopamine-mediated learning and switching in cortico-striatal circuit explain behavioral changes in reinforcement learning. Front. Behav. Neurosci. 2011. 5 (15): 1–17.

  27. Ilango A., Kesner A.J., Broker C.J., Wang D.V., Ikemoto S. Phasic excitation of ventral tegmental dopamine neurons potentiates the initiation of conditioned approach behavior: parametric and reinforcement-schedule analyses. Front. Behav. Neurosci. 2014. 8 (155): 1–13.

  28. Kim H.F., Ghazizadeh A., Hikosaka O. Dopamine Neurons Encoding Long-Term Memory of Object Value for Habitual Behavior. Cell. 2015. 163: 1165–1175.

  29. Lisman J. Glutamatergic synapses are structurally and biochemically complex because of multiple plasticity processes: long-term potentiation, long-term depression, short-term potentiation and scaling. Philos. Trans. R. Soc. Lond. B. Biol. Sci. 2017. 372: 1–11.

  30. Lisman J., Grace A.A., Duzel E. A neoHebbian framework for episodic memory; role of dopamine-dependent late LTP. Trends Neurosci. 2011. 34 (10): 536–547.

  31. Lodge D.J. The Medial Prefrontal and Orbitofrontal Cortices Differentially Regulate Dopamine System Function. Neuropsychopharmacology. 2011. 36: 1227–1236.

  32. Mohebi A., Pettibone J.R., Hamid A.A., Wong J.T., Vinson L.T., Patriarchi T., Tian L., Kennedy R.T., Berke J.D. Dissociable dopamine dynamics for learning and motivation. Nature. 2019. 570 (7759): 65–70.

  33. Moreines J.L., Owrutsky Z.L., Grace A.A. Involvement of Infralimbic Prefrontal Cortex but not Lateral Habenula in Dopamine Attenuation after Stress. Neuropsychopharmacology. 2017. 42: 904–913.

  34. Pawlak V., Wickens J.R., Kirkwood A., Kerr J.D. Timing is not everything: neuromodulation opens the STDP gate. Frontiers in Synaptic Neuroscience. 2010. 2: Article 146.

  35. Rescorla R.A. Pavlovian conditioning. It’s not what you think it is. Am. Psychol. 1988. 43 (3): 151–160.

  36. Robinson S., Sandstrom S.M., Denenberg V.H., Palmiter R.D. Distinguishing Whether Dopamine Regulates Liking, Wanting, and/or Learning About Rewards. Behav. Neurosci. 2005. 119 (1): 5–15.

  37. Roitman M.F., Stuber G.D., Phillips P.E., Wightman R.M., Carelli R.M. Dopamine operates as a subsecond modulator of food seeking. J Neurosci. 2004. 24 (6):1265–1271.

  38. Saunders B.T., Richard J.M., Margolis E.B., Janak P.H. Dopamine neurons create Pavlovian conditioned stimuli with circuit-defined motivational properties. Nature Neuroscience. 2018. 21: 1072–1083.

  39. Schultz W., Stauffer W.R., Lak A. The phasic dopamine signal maturing: from reward via behavioural activation to formal economic utility. Curr. Opin. Neurobiol. 2017. 43: 139–148.

  40. Sesack S.R., Carr D.B. Selective prefrontal cortex inputs to dopamine cells: implications for schizophrenia. Physiology & Behavior. 2002. 77: 513–517.

  41. Shahaf G., Marom S. Learning in networks of cortical neurons. J. Neurosci. 2001. 21 (22): 8782–8788.

  42. Shouval H.Z., Wang S.S.-H., Wittenberg G.M. Spike timing dependent plasticity: a consequence of more fundamental learning rules. Frontiers in Computational Neuroscience. 2010. Vol. 4. Article 19. P. 1–13.

  43. Sinapayen L., Masumori A., Ikegami T. Learning by stimulation avoidance: A principle to control spiking neural networks dynamics. PLoS One. 2017. 12 (2): e0170388.

  44. Stewart C.V., Plenz D. Inverted-U profile of dopamine-NMDA – mediated spontaneous avalanche recurrence in superficial layers of rat prefrontal cortex. The Journal of Neuroscience. 2006. 26 (31): 8148–8159.

  45. Tsai H.C., Zhang F., Adamantidis A., Stuber G.D., Bonci A., de Lecea L., Deisseroth K. Phasic firing in dopaminergic neurons is sufficient for behavioral conditioning. Science. 2009. 324: 1080–1084.

  46. Waelti P., Dickinson A., Schultz W. Dopamine responses comply with basic assumptions of formal learning theory. Nature. 2001. 412 (6842): 43–48.

  47. Walker E.L. Reinforcement – The one ring. In J.T. Trapp (Ed.), Reinforcement and behavior (pp. 47–62). New York: Academic Press, 1969. (цит. по Хекхаузен, 2003).

  48. Wang S., Liao C., Meng W., Huang Q., Li D. Activation of D1-like dopamine receptors increases the NMDA-induced gain modulation through a PKA-dependent pathway in the premotor nucleus of adult zebra finches. Neuroscience Letters. 2015. 589: 37–41.

  49. Watabe-Uchida M., Eshel N., Uchida N. Neural circuitry of reward prediction error. Annu. Rev. Neurosci. 2017. 40: 373–394.

  50. Watabe-Uchida M., Zhu L., Ogawa S.K., Vamanrao A., Uchida N. Whole-brain mapping of direct inputs to midbrain dopamine neurons. Neuron. 2012. 74 (5): 858–73.

  51. Wise R.A., Koob G.F. The development and maintenance of drug addiction. Neuropsychopharmacology. 2014. 39: 254–262.

  52. Yagishita S., Hayashi-Takagi A., Ellis-Davies G.S.R., Urakubo H., Ishii S., Kasai H. A critical time window for dopamine actions on the structural plasticity of dendritic spines. Science. 2014. 345 (6204): 1616–1620.

  53. Yin H.H., Knowlton B.J. The role of the basal ganglia in habit formation. Nat. Rev. Neurosci. 2006. 7 (6): 464–476.

  54. Zellner M.R., Ranaldi R. How conditioned stimuli acquire the ability to activate VTA dopamine cells: A proposed neurobiological component of reward-related learning. Neurosci. Biobehav. Rev. 2010. 34 (5): 769–780.

Дополнительные материалы отсутствуют.