Журнал высшей нервной деятельности им. И.П. Павлова, 2020, T. 70, № 4, стр. 435-445
НАБОР ТЕКСТА ПАЦИЕНТАМИ С ПОСТИНСУЛЬТНОЙ АФАЗИЕЙ В КОМПЛЕКСЕ “НЕЙРОЧАТ” НА ОСНОВЕ ТЕХНОЛОГИИ ИНТЕРФЕЙСОВ МОЗГ-КОМПЬЮТЕР НА ВОЛНЕ P300
И. П. Ганин 1, 2, *, С. А. Ким 1, С. П. Либуркина 1, Н. В. Галкина 3, А. О. Лужин 2, Л. А. Майорова 4, 5, 6, Н. Г. Малюкова 4, В. М. Шкловский 4, А. Я. Каплан 1, 7, 8
1 Биологический факультет МГУ им. М.В. Ломоносова
Москва, Россия
2 НП “Эксперт”
Москва, Россия
3 ООО “Нейрочат”
Москва, Россия
4 ГБУЗ Центр патологии речи и нейрореабилитации ДЗМ
Москва, Россия
5 ФГБУН Институт высшей нервной деятельности и нейрофизиологии РАН
Москва, Россия
6 ФГБНУ “Федеральный научно-клинический центр реабилитологии и реаниматологии”
Москва, Россия
7 Институт когнитивных нейронаук, НИУ “Высшая школа экономики”
Москва, Россия
8 БФУ им. И. Канта
Калининград, Россия
* E-mail: ipganin@mail.ru
Поступила в редакцию 23.09.2019
После доработки 20.02.2020
Принята к публикации 26.02.2020
Аннотация
Двигательные и речевые нарушения являются одними из наиболее частых инвалидизирующих последствий острого нарушения мозгового кровообращения в левой гемисфере головного мозга. Технологии интерфейсов мозг-компьютер (ИМК) на волне Р300, позволяющие набирать текст без голоса и движений, могут быть важным инструментом социализации таких пациентов и тем самым способствовать эффективной реабилитации. Однако основной объем исследований и разработок в области таких коммуникационных нейроинтерфейсов выполняется в лабораторных условиях с участием в качестве испытуемых-добровольцев здоровых людей. В этой связи остается недостаточно разработанной проблема адаптации коммуникационных ИМК-технологий для использования непосредственно пациентами с афатическими расстройствами. Целью настоящей работы было изучение способности постинсультных пациентов с афазиями к овладению навыком управления в ИМК на основе волны P300. Полученные данные свидетельствуют о том, что в ходе многодневной работы (10 сессий) с набором текста в ИМК-P300 18 из 19 пациентов не только освоили набор текста посредством фокусирования внимания на экранных символах, но и показали постепенное улучшение точности и скорости ввода команд, а также общего количества вводимых за сессию букв. Представляется перспективным дальнейшее изучение процессов адаптации афатичных пациентов к набору текстов и команд посредством коммуникационных нейроинтерфейсов с выявлением возможных реабилитационных эффектов в отношении восстановления речи.
ВВЕДЕНИЕ
Нарушение способности к речевой коммуникации является одним из наиболее тяжелых последствий инсульта или ОНМК (острое нарушение мозгового кровообращения) головного мозга в бассейне левой средней мозговой артерии. Для восстановления речи в настоящее время применяется система направленных логотерапевтических, нейропсихологических, медикаментозных, физиотерапевтических и других методов восстановления утраченных функций. В последнее время показана возможность замещения речевой коммуникации на основе технологии интерфейсов мозг-компьютер (ИМК), которая, посредством декодирования реакций ЭЭГ на зрительные символы позволяет транслировать намерения человека в команды для набора символов на экране компьютера [Ganin et al., 2013; Bamdad et al., 2015; Kaplan, 2016; Bockbrader et al., 2019].
Наиболее эффективными в этом отношении являются интерфейсы, в которых на основе регистрации ЭЭГ детектируются реакции мозга при предъявлении по очереди каждой буквы алфавита или символов из определенного набора с обнаружением специфического ответа, так называемой волны P300 зрительных вызванных потенциалов, на букву, необходимую для набора слова в данный момент. Впервые эта нейроинтерфейсная технология набора текстов, так называемый спеллер, была опубликована в 1988 г. [Farwell, Donchin, 1988] и получила название “ИМК-P300” (P300 BCI). Однако, в силу несовершенства технических и алгоритмических средств, долгое время этот тип ИМК не обеспечивал нужной скорости и надежности выбора букв или символов и потому оставался невостребованным для широкого применения, в том числе в реабилитационной практике. В последние годы в разных лабораториях мира были выполнены новые исследования [Ganin et al., 2013; Carelli et al., 2017; Rezeika et al., 2018], позволившие создать прототипы нейроинтерфейсных спеллеров для практического использования в больницах и в бытовых условиях с целью социализации пациентов с тяжелыми нарушениями речи и движений. В частности, на основе новых научных разработок [Shishkin et al., 2009; Ganin et al., 2013; Ганин, Каплан, 2014; Speier et al., 2018] в России был создан нейрокоммуникационный комплекс “НейроЧат”, с помощью которого пациенты могут без единого движения не только набирать тексты, но и вести дневниковые записи, отправлять и получать почту, активировать команды для заранее определенных сервисных устройств. “НейроЧат” разрабатывался для обеспечения максимальной простоты управления и эргономичности этой коммуникационной ИМК-технологии с целью обеспечения ее доступности пациентам непосредственно в госпитальных и бытовых условиях, с решением целого ряда проблем, которые до настоящего времени затрудняли применение интерфейсов мозг-компьютер [Powers et al., 2015].
Важно отметить, что интерфейсы мозг-компьютер на основе волны P300 не просто “протезируют” коммуникативную функцию, но также, представляя собой тренинг с обратной связью [Arvaneh et al., 2019], могут иметь потенциал в плане восстановления когнитивных функций, в частности, функции внимания.
Целью настоящего исследования было изучение процесса освоения и использования нейрокоммуникационного комплекса “Нейрочат” пациентами, перенесшими инсульт и имеющими речевые и двигательные нарушения.
МЕТОДИКА
Исследование проходило на базе ГБУЗ “Центр патологии речи и нейрореабилитации” ДЗМ г. Москвы (ЦПРиН).
В исследовании приняли участие 19 пациентов в возрасте от 35 до 75 лет (медиана 60): 9 женщин и 10 мужчин с диагнозом ишемический инсульт в бассейне левой средней мозговой артерии, давность инсульта в подавляющем большинстве случаев была не более 12 мес (медиана 77 дней, интерквартильный размах 40.5–161.5 дней).
По данным структурной нейровизуализации, у всех испытуемых были выявлены постинфарктные изменения вещества мозга в системе левой средней мозговой артерии. Средний объем очага составил 20 см3 (интерквартильный размах 5–40 см3).
Критериями включения стали: ишемический инсульт в каротидном бассейне кровообращения; возраст от 35 до 75 лет (возраст до 35 лет не включен в критерии ввиду отсутствия таких пациентов в стационаре на момент исследования), наличие нарушений речи в виде афазии от легкой до средней степени тяжести, дефицит управляющих функций. К критериям исключения относилось наличие в анамнезе таких состояний, как клаустрофобия, эписиндром, черепно-мозговая травма (ЧМТ) и нейроинфекция, повторный инсульт, наличие кардиостимулятора. С целью формирования по возможности наиболее однородной группы по своему реабилитационному потенциалу из группы исследования также были исключены такие состояния, как сахарный диабет, метаболический синдром, выраженные аффективные нарушения, повышенная утомляемость (низкая толерантность к когнитивной нагрузке).
Из 19 пациентов 8 имели высшее образование, 8 – среднее специальное образование. К тренингу привлекались пациенты, показывающие высокую мотивацию к восстановлению.
Комплексная восстановительная терапия: медикаментозная терапия, лечебная физкультура, массаж, лечение положением паретичных конечностей, механотерапия, кардиотренировка. Средняя суммарная продолжительность различных методик когнитивной реабилитации у одного пациента в течение дня – 3 ч. Курс комплексной восстановительной терапии и когнитивной реабилитации (4.7 нед), включающий интенсивную речевую терапию, состоял из 60 индивидуальных логопедических занятий по 35 мин (по 2 занятия в день, всего за неделю – 15 занятий).
Дизайн исследования предполагал комплексную оценку нейропсихологического и неврологического статуса пациентов, а также показателей работы с ИМК-Р300. Комплексное обследование пациентов проводилось 2 раза: непосредственно перед и сразу после завершения курса работы с ИМК-Р300.
Для нейропсихологического исследования использовались батарея лобной дисфункции (FAB – Frontal Assesment Battery [Dubois at al., 1999]), тест “таблицы Шульте”, шкалы батареи нейропсихологического исследования В.М. Шкловского [Шкловский, 1994], определение формы афазии (по классификации афазий А.Р. Лурия [Лурия, 2018]) и степени ее выраженности. “Передние” формы афазий (эфферентная моторная афазия, комплексная моторная афазия) наблюдались у 11 пациентов, “задние” формы афазий (акустико-мнестическая афазия, сенсорная афазия) – у 8 пациентов, у одного пациента речевые расстройства были представлены дизартрией (степень выраженности речевых нарушений варьировалась от средней до легкой). Также при первичном нейропсихологическом обследовании у пациентов, включенных в исследование, выявлялись, помимо речевых, нарушения управляющих функций легкой или средней степени (только три пациента показали нормативные показатели по тесту FAB). У всех пациентов выявлялись нарушения фонового (нейродинамического) компонента когнитивных функций средней и легкой степени.
Каждый пациент прошел от 6 до 11 сессий работы с ИМК, в среднем по 8.8 сессий. Количество сессий варьировалось в зависимости от состояния пациента и продолжительности его лечения. Сессии проводились каждый рабочий день.
Во время сессии испытуемые сидели за столом, на котором располагался монитор с предъявляемыми на нем зрительными стимулами. Стимулы предъявлялись в парадигме ИМК-P300 и были организованы в виде матрицы из 9 строк и 5 столбцов, ячейки которой содержали буквы русского алфавита и символы (угловые размеры: ячейки 4.0° × 4.0°, расстояния между ними – 1.9°). Для предъявления стимулов использовался 21.5-дюймовый экран с частотой обновления 60 Гц и разрешением 1920 × 1080. Расстояние от экрана до глаз испытуемого составляло 70 см. Базовый цвет фона матрицы и ячеек был черным (RGB 0,0,0), буквы и символы в ячейках – темно-серыми (RGB 40,40,40). Стимулом служила “подсветка” – изменение цвета фона ячеек с черного на серый (RGB 70,70,70). Для проведения исследования использовались стимульная среда и алгоритмы аппаратно-программного комплекса “НейроЧат”.
Стимуляция осуществлялась в виде поочередных подсветок строк и столбцов матрицы. Подсветки были объединены в так называемые “стимульные последовательности”, в рамках каждой из которых все строки и столбцы подсвечивались по одному разу в псевдослучайном порядке. Длительность одной подсветки составляла 160 мс, интервал между двумя соседними подсветками – 60 мс.
Каждая сессия состояла из двух блоков: фазы обучения классификатора и фазы набора текста. Фаза обучения вместе с подготовительными процедурами (установка электродов, дополнительные инструкции и пр.) занимала в среднем 22 мин, вместе с фазой набора – 37 мин.
Во время фазы обучения классификатора целевая ячейка подсвечивалась кратковременно, а также выделялась рамкой красного цвета (RGB 100,0,0), которая сохранялась во время стимуляции. Испытуемому необходимо было смотреть на целевую ячейку и мысленно считать, сколько раз она подсвечивалась в составе столбца или строки, и игнорировать при этом все остальные подсветки. После окончания стимуляции выделялась следующая целевая ячейка и через 5 с снова начинались подсветки. Из-за последствий ОНМК не у всех пациентов осталась сохранной функция счета, поэтому им предлагалось реагировать на подсветки целевой ячейки с помощью удобного для них способа: например, произнося про себя короткое слово (“раз”, “да”, “ура” и т.д.) или называя целевую букву.
На каждый целевой стимул приходилось по 5 стимульных последовательностей, в ходе которых целевая ячейка суммарно подсвечивалась 10 раз в составе строки и столбца. Всего в фазе обучения последовательно предъявлялось 18 целевых ячеек. По завершении обучения рассчитывался классификатор, а успешность данной фазы определялась по индексу, рассчитываемому программным обеспечением ИМК.
При успешном завершении фазы обучения классификатора испытуемым предлагалось перейти к фазе набора заданного текста. Из 8.8 сессий у каждого пациента в среднем проходило 7.9 сессий с набором. В этой фазе задание испытуемого заключалось в том, чтобы при помощи команд ИМК ввести на экране определенные слова: существительные из пяти букв в именительном падеже, единственного или множественного числа. Для выбора буквы испытуемому требовалось выполнять те же инструкции, что и при обучении классификатора: последовательно сосредоточивать внимание на подсветках нужной буквы, пока она не появлялась в строке набора текста. Число стимульных последовательностей в этой фазе не было фиксировано и адаптивно рассчитывалось алгоритмом ИМК в ходе работы. Ячейка с буквой, распознанной классификатором, подсвечивалась, и соответствующая буква появлялась в верхней строке набора. Через 5 с начинался новый цикл стимуляции для выбора следующей буквы. Неправильно введенные буквы не стирались, в случае ошибки пациент переходил к набору следующей буквы в слове.
Карточка с крупно напечатанным словом ставилась рядом с экраном. Пациентам предлагалось набрать не менее трех слов за сессию, а при наличии времени и мотивации – шесть слов. При повышенной утомляемости пациента или ограниченности во времени сессия завершалась вне зависимости от количества набранных слов. В среднем пациенты набирали по 4.3 слова за сессию (21.4 символа). Для каждой попытки предлагались новые слова. По желанию пациента между набором слов делалась короткая пауза на отдых.
После успешного ввода заданных шести слов некоторые пациенты выражали желание воспользоваться свободным набором и с помощью ИМК набирали собственный текст, однако результаты такого набора не учитывались. В редких случаях по просьбе пациента задание усложнялось и количество предлагаемых слов увеличивалось до девяти слов за сессию.
ЭЭГ регистрировали монополярно в восьми отведениях: P3, Pz, P4, Po7, Po8, O1, Oz, O2. В качестве референта использовался электрод на мочке правого уха, в качестве средней точки усилителя (“Земля”) – электрод в позиции Fp1.
В качестве основных поведенческих показателей при работе с ИМК анализировалась точность набора текста на основе расчета доли безошибочно набранных символов среди всех попыток выбора, времени набора буквы (в секундах), количества набранных букв за сессию.
Со всеми пациентами, включенными в исследование, проводилось двукратное нейропсихологическое исследование состояния высших психических функций (ВПФ) с определением форм и степени тяжести афазий. Исследование проводилось непосредственно перед первой сессией “НейроЧата” и сразу после последней сессии. Таким образом, период времени между двумя тестированиями был строго ограничен временем проведения тренировок с использованием ИМК-300.
Все испытуемые имели возможность коммуницировать (понимать устные инструкции, давать краткие речевые ответы, были сохранены навыки простого чтения и письма) и после ознакомления с информацией об исследовании подписывали информированное согласие, составленное в соответствии с международной практикой соблюдения прав человека на основе Хельсинкской декларации 1964 г. и ее последующими обновлениями и одобренное локальным биоэтическим комитетом ИВНДиНФ РАН (Москва) в рамках научного сотрудничества с ЦПРиН (Москва).
Статистический анализ данных проводился в пакете STATISTICA 7.0 (StatSoft). Для оценки значимости влияния фактора номера сессии применялся многомерный дисперсионный анализ (MANOVA с расчетом λ-критерия Уилкса). При наличии значимых главных эффектов или эффектов взаимодействий факторов для парных сравнений применялся апостериорный (post hoc) тест Фишера или тест Тьюки. Для анализа результатов нейропсихологического тестирования применялся ранговый критерий Вилкоксона. А для выявления возможных взаимосвязей между результативностью работы пациентов в ИМК и показателями, рассчитываемыми в нейропсихологическом тестировании, рассчитывались ранговые коэффициенты корреляции Спирмена.
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЙ
Средние значения точности ввода текста пациентами в каждой из сессий работы в ИМК представлены на рис. 1. Прослеживалась положительная динамика точности между сессиями: точность выросла с 63.2 ± 6.7% в первой сессии до 92.1% в десятой сессии. Многомерный дисперсионный анализ подтвердил значимость фактора сессии: λ = 0.24, F (9,10) = 3.37, p < 0.05. Однако основной и наиболее существенный прирост точности наблюдался в первые 5 сессий: с 63.2 до 87.9%. Далее точность несколько уменьшалась (хотя и не значимо при post-hoc анализе) и затем рост был менее крутым (см. рис. 1). Значимые различия точности в сравнении с первой сессией начинались уже с третьей сессии и далее.
Динамика средних значений времени ввода каждой буквы и общего количества вводимых пациентом букв за сессию на протяжении 10 сессий представлена на рис. 2 и 3. В целом среднее время ввода одной буквы постепенно уменьшалось с 60.6 ± 5. с в первой сессии до 38.9 ± 3.3 с в последней сессии. Эффект был значим: λ = 0.24, F (9, 10) = 3.44, p < 0.05. При этом опять же основное снижение времени ввода происходило в первые пять сессий (от 60.6 до 37.3 с), причем снижение более чем на 10 с происходило уже ко второй сессии. В последующих сессиях происходило колебание этого показателя. Post-hoc анализ выявил значимые различия между первой и всеми остальными сессиями, между пятой и всеми предыдущими сессиями, а также различия между последними двумя и первыми тремя сессиями (для девятой сессии также были еще различия с четвертой и восьмой сессиями).
Общее количество вводимых за сессию букв в среднем возрастало в ходе 10 сессий и увеличилось с 14.5 ± 1.7 в первой до 30.5 ± 1.2 в последней сессии. Дисперсионный анализ выявил значимость фактора сессии: λ = 0.08, F (9, 10) = 13.34, p < 0.05. Существенный рост на 7.1% наблюдался уже от первой ко второй сессии, однако и в дальнейшем рост продолжался (post-hoc анализ выявил значимые различия для первой и двух последних сессий с большинством остальных сессий). Также можно отметить более стабильный рост этого показателя во второй половине исследования от шестой к десятой сессии (см. рис. 3): различия между шестой и последними сессиями были значимы.
Рассчитываемый по результатам теста “Таблицы Шульте” показатель эффективности работы измеряется в секундах и отражает среднее время работы с таблицами. Показатели эффективности работы улучшились у 11 из 17 проходивших тест пациентов, а психической устойчивости – у 14 из 17 пациентов. Средние значения приведены на рис. 4. Различия средних до и после тренинга были значимы: Z = 2.27, p < 0.05 и Z = 2.58, p < 0.05 соответственно.
Рассчитывались корреляции результатов теста “Таблицы Шульте” и интегральных показателей работы пациентов в ИМК (усреднение или лучший результат за все сессии). В целом прослеживались невысокие (значение коэффициента порядка 0.5 при p < 0.05) корреляции точности ввода текста, времени набора одной буквы и количества букв за сессию с показателями в тесте на внимание. А именно, более высокая точность и количество введенных букв, а также более короткое время ввода каждой буквы коррелировали с более быстрым выполнением задания в “Таблицах Шульте” и более эффективным показателем психической устойчивости, рассчитываемом в этом тесте.
Среднее значение баллов в батарее тестов лобной дисфункции составило 14.24 ± 0.53 перед началом работы в “НейроЧате” и увеличилось до 16.26 ± 0.43 после завершения работы, различия были значимы: Z = 3.51, p < 0.05.
При исследовании состояния нейродинамического компонента когнитивных функций средний балл (использовалась усредненная оценка по всем тестам) составил 1.02 ± 0.11 при первичной оценке и уменьшился до 0.78 ± 0.09 при повторной оценке (Z = 2.95, p < 0.05). При этом наблюдались корреляции данного показателя с эффективностью работы в интерфейсе мозг-компьютер. В частности, более высокая точность обучения классификатора и количество введенных за сессию букв коррелировали с улучшением показателей нейродинамики от первичного к повторному их тестированию (R = 0.5–0.55, p < 0.05).
В тесте на заучивание ряда слов (исследование слухо-речевой памяти) были получены следующие результаты. Потеря слов (отражающая объем памяти) уменьшилась с 1.59 ± 0.23 в первичном тестировании до 1.06 ± 0.20 при повторном тестировании (Z = 2.40, p < 0.05). Среднее количество ошибок воспроизведения слов уменьшилось с 0.35 ± 0.12 до 0.06 ± 0.06 (Z = 2.02, p < 0.05). Также более высокая точность обучения классификатора и набора текста в “НейроЧате” коррелировали с более высокой средней оценкой объема памяти, т.е. с меньшим количеством потерянных при воспроизведении слов (R = 0.44–0.52, p < 0.05).
То есть в ходе настоящего исследования было показано, что у пациентов, вошедших в исследование, при ежедневной работе с системой “НейроЧат” к 10-му дню тренировки наблюдался значимый прирост показателей: точность и скорость ввода текста и общее количество вводимых за сессию букв. Также установлено, что указанные параметры работы в “НейроЧат” были значимо связаны с показателями функции внимания, нейродинамического компонента и объемом памяти (по данным нейропсихологического обследования).
ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ
Настоящее исследование представляет собой пилотное тестирование нейрокоммуникационного комплекса “НейроЧат”, проведенное в больничных условиях на группе постинсультных пациентов. Данный комплекс на основе технологии ИМК-P300 позволяет пользователям набирать, отправлять и принимать сообщения. Одной из основных проблем на пути развития эргономичных и востребованных в клинике ИМК-систем является крайне малое количество работ с привлечением пациентов, а также зачастую небольшое (вплоть до единичного) число пациентов в исследовании [Mak, Wolpaw, 2009; Powers et al., 2015; Kleih et al., 2016]. В нашем исследовании изучался процесс освоения управления в ИМК-P300 19 постинсультными пациентами, которые продемонстрировали весьма высокие результаты набора слов при помощи этой системы.
Другим важным аспектом практического использования систем нейрокоммуникации можно назвать почти полное отсутствие полноценных “не лабораторных” систем, не требующих для своей работы присутствия квалифицированного персонала [Jeon et al., 2015; Powers et al., 2015; McFarland, Vaughan, 2016]. Разработанный комплекс “НейроЧат”, применяемый в настоящей работе, был специальным образом спроектирован для применения в любых, в том числе и в “полевых” условиях. Поэтому проведенное с участием пациентов из ЦПРиН исследование является ценным еще и в техническом аспекте, поскольку открывает возможность проведения более разнообразных исследований в условиях клиники.
Авторским коллективом не только была проделана работа по тестированию ИМК-комплекса в реальных клинических условиях, но и отобрана группа пациентов с общим диагнозом и симптомами – пациенты с речевыми и двигательными нарушениями после ОНМК в бассейне левой средней мозговой артерии. Эффективность технологии ИМК на основе моторного представления уже изучалась ранее в работах с привлечением существенных выборок постинсультных пациентов и достаточного количества проводимых с ними сессий (например, [Frolov et al., 2017], а также обзоры [Ang, Guan, 2017; Monge-Pereira et al., 2017]). Однако если говорить о технологии ИМК-Р300, то, несмотря на то, что постинсультные пациенты привлекались ранее в такие исследования, их количество, либо количество проводимых с ними сессий было крайне мало (например, [Kleih et al., 2016]).
Главным результатом проведенного исследования стало то, что все пациенты, кроме одного, участвовавшие в тренинге и страдающие афазией, освоили технологию ИМК-P300 и достигли высоких результатов при наборе текстов с помощью него. Причем динамика показателей работы в ходе 10 сессий была положительна: в среднем точность и время на ввод одной буквы улучшились примерно в 1,5 раза, а общее количество вводимых за сессию букв – в два раза. В исследованиях с ИМК-P300 проведение многократно повторяющихся в разные дни сессий – обычно редкое явление, как в работах с участием здоровых испытуемых, так и пациентов [Mak et al., 2011; Powers et al., 2015]. Как правило, для здоровых испытуемых повторные сессии практически не влияют на показатели работы в интерфейсе [Sellers et al., 2006; Wang et al., 2012; Ganin et al., 2013], что подкрепляет широкое мнение исследователей об отсутствии необходимости тренировки пользователя в ИМК-P300 [Birbaumer et al., 2007]. Однако в случае пациентов следует учитывать такие факторы, как сниженная способность к восприятию инструкций, нарушения внимания, быстрое наступление утомления при работе в ИМК [Machado et al., 2010; Malouin et al., 2013;]. Поэтому проведение подобных нашему исследований, которые включают, по крайней мере, 8–10 сессий работы пациентов с интерфейсом, очень важно для развития технологии ИМК [Carelli et al., 2017]. Важно отметить интенсивность проводимых занятий, интервал между которыми был минимально возможным (см. методику), в то время как обычно этот интервал составляет от нескольких дней до нескольких недель, или не может быть оценен вовсе [Wang et al., 2012; Ganin et al., 2013; Kleih et al., 2016].
Средние значения точности набора пациентами букв с помощью ИМК-P300 в ходе сессий превышали 80% и постепенно достигали 90%, что соответствует аналогичным показателям для здоровых испытуемых [Rezeika et al., 2018]. Однако в первых сессиях средняя точность была ниже 80%, что может отражать особенности работы в ИМК пациентов по сравнению со здоровыми испытуемыми. Для пациентов была характерна высокая вариативность показателей: некоторые достигали минимального числа ошибок уже в первой сессии, а часть работала с низкой точностью. В целом такая результативность работы пациентов в ИМК-P300 может быть связана с особенностями их состояния: на усвоение и выполнение ими инструкций оказывали сильное влияние такие факторы, как присутствие посторонних людей или шума, наличие медицинских процедур до или после ИМК-сеанса, а также варьирующее самочувствие. Более низкая точность работы пациентов в ИМК-P300 по сравнению со здоровыми испытуемыми упоминалась в литературе (например, [Martinez-Cagigal et al., 2017]). Скорость набора букв пациентами в нашей работе была несколько ниже показателей, характерных обычно для здоровых пользователей, что объясняется, с одной стороны, указанными выше особенностями пациентов, с другой – большим размером стимульной матрицы, что увеличивало время предъявления всех стимулов по сравнению с типичными экранами ИМК-P300. Кроме того, в “НейроЧате” используется алгоритм адаптивной подстройки числа стимульных последовательностей, поэтому стимуляция продолжалась до достижения вероятности, достаточной для надежного распознавания целевой буквы. Поэтому в случае вариаций уровня внимания, характерных для многих пациентов, время стимуляции могло существенно возрастать.
Несмотря на то что в нашей работе наблюдалось постепенное улучшение показателей работы и состояния разных аспектов когнитивных функций пациентов в интерфейсе мозг-компьютер, можно отметить более ровную и крутую динамику для первых 5 сессий – в первую очередь, для точности и времени ввода букв. После пятой сессии тренд изменения этих показателей уменьшался, и они начинали варьировать (см. рис. 1–3). На основе опросов испытуемых и анализа технического состояния системы не удалось выявить точные причины таких эффектов. Тем не менее можно предположить, что стабильный рост показателей (в первую очередь, точности) именно в первые 5 сессий с последующим уменьшением роста может объясняться некоторым снижением мотивации пациентов к задаче по достижении близких к максимальным результатов работы с системой. Известно, что именно уровень мотивации существенно влияет на результативность работы пациентов в ИМК [Kleih et al., 2013]. В то же время увеличение количества вводимых за сессию букв было наиболее существенным в последние пять сессий, что, учитывая регламент исследования, говорит об увеличении срока до наступления утомления. Это может объясняться снижением тревожности пациентов и повышением их доверия к методике вместе с постепенным более уверенным овладением навыком работы в ИМК, что также подтверждается результатом индивидуальных опросов.
У пациентов, проходивших тренинг с использованием комплекса “НейроЧат”, было выявлено улучшение не только фонового компонента когнитивных функций, но и регуляторного их аспекта, а также ряда показателей мнестической деятельности. Предметом дальнейшего изучения является установление причинно-следственной связи между наблюдаемыми клиническими улучшениями и выполнением тренировок в ИМК-Р300 в рамках комплексной нейрореабилитационной терапии.
Если говорить о схожих работах, то ранее аналогичная нашей категория пациентов участвовала в ИМК-P300 исследовании, однако число пациентов и сессий было крайне низким [Kleih et al., 2016]. Четверо пациентов с афазией смогли достичь весьма высоких результатов набора текста в ИМК, однако проследить динамику как самих показателей работы в ИМК, так и поведенческих тестов на внимание в данной работе не представлялось возможным, поскольку только двое пациентов участвовали, по крайней мере, в трех сессиях.
Тренировка когнитивных функций, в первую очередь – внимания и памяти, представляется крайне актуальной в контексте проведения ИМК-исследований, причем как для здоровых пользователей, так и для пациентов с различной патологией [Carelli et al., 2017]. Выявленное в нашей работе улучшение показателей в тестах на внимание (“Таблицы Шульте”), а также слухо-речевую память является заделом для проведения дальнейших исследований по возможному влиянию тренинга в системе “НейроЧат” на когнитивные функции у подобных пациентов. В одном из недавних исследований на здоровых испытуемых было показано усиление маркеров внимания при работе в ИМК с обратной связью в реальном времени по сравнению с отсутствием обратной связи, однако тренинг включал лишь единственную сессию [Arvaneh et al., 2019]. Как показано в работах с проведением нескольких сессий работы с ИМК, улучшение когнитивных показателей может быть обнаружено именно при таком построении исследования (например, в работе [Gomez-Pilar et al., 2016] на здоровых испытуемых пожилого возраста).
Дальнейшее развитие настоящей работы может включать исследование непосредственно реабилитационного эффекта технологии ИМК-P300 применительно к рассматриваемой категории пациентов. В таких исследованиях необходимо вводить контрольную группу (или группы), которая бы позволила оценить эффекты динамики работы в ИМК и роли такого тренинга в изменении показателей внимания и других когнитивных функций для группы пациентов, участвовавших в исследовании. Такой контрольной группой могла бы стать выборка сопоставимых пациентов ЦПРиН, не проходивших курс тренировок в ИМК-Р300 (группа “плацебо”), выполняющих похожие задачи (без ИМК) с таким же расписанием занятий, либо проходящих такие же сессии в “НейроЧате”, но без обратной связи. Согласно индивидуальным опросам, для многих пациентов часто было важно видеть результат распознанной ИМК буквы, что подтверждается важностью обратной связи для работы ИМК [Ganin et al., 2013; Arvaneh et al., 2019]. Отсутствие необходимых контролей обычно является главной проблемой подобных ИМК-исследований на пациентах, что связано с рядом технических и этических нюансов [Powers et al., 2015; Burwell et al., 2017]. Проведение более обширных исследований с привлечением пациентов и разных групп контроля, особенно для выявления влияния продолжительного тренинга в ИМК-Р300 на показатели внимания, различные аспекты произвольного контроля, параметры мнестической деятельности, речи и другие когнитивные функции, планируется нашим научным коллективом в дальнейшем.
Таким образом, основная ценность проведенной работы заключается именно в том, что предложенная система коммуникации была успешно освоена практически всеми постинсультными пациентами с афазией, вошедшими в исследование, и была показана возможность их работы с системой в течение длительного времени. Полученные результаты позволяют планировать в будущем лонгитюдные исследования в клинике с изучением аспектов тренировки в ИМК и его влиянием на процессы восстановления высших психических функций пациентов в рамках комплексной нейрореабилитации.
ВЫВОДЫ
1. Постинсультные пациенты с афатическими и двигательными нарушениями средней и легкой степени выраженности успешно освоили управление в технологии интерфейс мозг-компьютер и могли набирать слова и тексты в АПК “НейроЧат”.
2. В лонгитюдном исследовании на протяжении десяти сессий в ИМК-P300 прослеживалась положительная динамика точности набора текста: точность выросла с 63% в первой сессии до 92% в десятой сессии. Причем наибольший рост (до 88%) наблюдался в первые пять сессий.
3. Среднее время ввода одной буквы с помощью ИМК-P300 за 10 сессий постепенно уменьшилось с 61 до 39 сек. Основное снижение времени ввода (до 37 сек) происходило в первые пять сессий.
4. Общее количество вводимых пациентом за сессию букв в ИМК-P300 постепенно увеличивалось и достигло в среднем 31 к последней сессии по сравнению с 15 в первой сессии.
Работа выполнена при частичной финансовой поддержке Российского фонда фундаментальных исследований (проект 17-29-02115) и Фонда поддержки проектов Национальной Технологической Инициативы (НТИ) по направлению “Нейронет” в рамках проекта “НейроЧат”.
Список литературы
Ганин И.П., Каплан А.Я. Интерфейс мозг-компьютер на основе волны P300: предъявление комплексных стимулов “подсветка + движение”. Журн. высш. нерв. деят. им. И.П. Павлова. 2014. 64 (1): 32–40.
Лурия А. Р. Высшие корковые функции человека. Питер. 2018.
Шкловский В.М. Заикание. М.: ICE. 1994.
Ang K.K., Guan C. EEG-Based Strategies to Detect Motor Imagery for Control and Rehabilitation. IEEE Trans Neural Syst Rehabil Eng. 2017. 25 (4): 392–401.
Arvaneh M., Robertson I.H., Ward T.E. A P300-Based Brain-Computer Interface for Improving Attention. Front. Hum. Neurosci. 2018. 12: 524.
Bamdad M., Zarshenas H., Auais M.A. Application of BCI systems in neurorehabilitation: a scoping review. Disability and Rehabilitation: Assistive Technology. 2015. 10 (5): 355–364.
Birbaumer N., Cohen L. Brain–computer interfaces: communication and restoration of movement in paralysis. The Journal of Physiology. 2007. 579: 621–636.
Bockbrader M.A., Francisco G., Lee R., Olson J., Solinsky R., Boninger M.L. Brain Computer Interfaces in Rehabilitation Medicine. PM&R. 2018. 10 (9): S233–S243.
Burwell S., Sample M., Racine E. Ethical aspects of brain computer interfaces: a scoping review. BMC medical ethics. 2017. 18 (1): 60.
Carelli L., Solca F., Faini A., Meriggi P., Sangalli D., Cipresso P., Riva G., Ticozzi N., Ciammola A., Silani V., Poletti B. Brain-Computer Interface for Clinical Purposes: Cognitive Assessment and Rehabilitation. Biomed Res Int. 2017. 2017: 1695290.
Dubois B., Slachevsky A., Litvan I., Pillon B.F.A.B. The FAB: a frontal assessment battery at bedside. Neurology. 2000. 55 (11): 1621–1626.
Farwell L.A., Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalogr Clin Neurophysiol. 1988. 70 (6): 510.
Frolov A.A., Mokienko O., Lyukmanov R., Biryukova E., Kotov S., Turbina L., Nadareyshvily G., Bushkova Y. Post-stroke Rehabilitation Training with a Motor-Imagery-Based Brain-Computer Interface (BCI)-Controlled Hand Exoskeleton: A Randomized Controlled Multicenter Trial. Front Neurosci. 2017. 11: 400.
Ganin I.P., Shishkin S.L., Kaplan A.Ya. A P300-based brain-computer interface with stimuli on moving objects: four-session single-trial and triple-trial tests with a game-like task design. PLOS ONE. 2013. 8 (10): e77755.
Gomez-Pilar J., Corralejo R., Nicolas-Alonso L.F., Alvarez D., Hornero R. Neurofeedback training with a motor imagery-based BCI: neurocognitive improvements and EEG changes in the elderly. Medical and Biological Engineering and Computing. 2016. 54 (11): 1655–1666.
Jeon H., Shin D.A. Experimental set up of P300 based brain computer interface using a bioamplifier and BCI2000 system for patients with spinal cord injury. Korean Journal of Spine. 2015. 12 (3): 119.
Kaplan A.Ya. Neurophysiological foundations and practical realizations of the brain–machine interfaces in the technology in neurological rehabilitation. Human Physiology. 2016. 42 (1): 103–110.
Kleih S.C., Kübler A. Empathy, motivation, and P300 BCI performance. Frontiers in human neuroscience. 2013. 7:642.
Kleih S.C., Gottschalt L., Teichlein E., Weilbach F.X. Toward a P300 based brain-computer interface for aphasia rehabilitation after stroke: presentation of theoretical considerations and a pilot feasibility study. Frontiers in human neuroscience. 2016. 10: 547.
Machado S., Araújo F., Paes F., Velasques B., Cunha M., Budde H., Basile L.F., Anghinah R., Arias-Carrión O., Cagy M., Piedade R, de Graaf T.A., Sack A.T., Ribeiro P. EEG-based brain-computer interfaces: an overview of basic concepts and clinical applications in neurorehabilitation. Reviews in the Neurosciences. 2010. 21 (6): 451–468.
Malouin F., Jackson P.L., Richards C.L. Towards the integration of mental practice in rehabilitation programs. A critical review. Frontiers in human neuroscience. 2013. 7: 576.
Mak J.N., Wolpaw J.R. Clinical Applications of Brain-Computer Interfaces: Current State and Future Prospects. IEEE Rev Biomed Eng. 2009. 2: 187–199.
Mak J.N., Arbel Y., Minett J.W., McCane L.M., Yuksel B., Ryan D., Thompson D., Bianchi L., Erdogmus D. Optimizing the P300-based brain-computer interface: current status, limitations and future directions. J. Neural Eng. 2011. 8: 025003.
Martinez-Cagigal V, Gomez-Pilar J, Alvarez D, Hornero R. An Asynchronous P300-Based Brain-Computer Interface Web Browser for Severely Disabled People. IEEE Trans Neural Syst Rehabil Eng. 2017. 25 (8): 1332–1342.
McFarland D.J., Vaughan T.M. BCI in practice. Prog Brain Res. 228: 389–404. 2016.
Powers J.C., Bieliaieva K., Wu S., Nam C.S. The Human Factors and Ergonomics of P300-Based Brain-Computer Interfaces. Brain Sci. 2015. 5 (3): 318–356.
Monge-Pereira E., Ibañez-Pereda J., Alguacil-Diego I.M., Serrano J.I., Spottorno-Rubio M.P., Molina-Rueda F. Use of Electroencephalography Brain-Computer Interface Systems as a Rehabilitative Approach for Upper Limb Function After a Stroke: A Systematic Review. PM R. 2017. 9 (9): 918–932.
Rezeika A., Benda M., Stawicki P., Gembler F., Saboor A., Volosyak I. Brain-Computer Interface Spellers: A Review. BrainSci. 2018. 8 (4): E57.
Sellers E.W., Donchin E. A P300-based brain-computer interface: initial tests by ALS patients. Clin Neurophysiol. 2006. 117 (3): 538–548.
Shishkin S.L., Ganin I.P., Basyul I.A., Zhigalov A.Yu., Kaplan A.Y. N1 wave in the P300 BCI is not sensitive to the physical characteristics of stimuli. J. of Integrative Neuroscience. 2009. 8 (4): 471–485.
Speier W., Arnold C., Chandravadia N., Roberts D., Pendekanti S., Pouratian N. Improving P300 Spelling Rate using Language Models and Predictive Spelling. Brain Comput Interfaces (Abingdon). 2018. 5 (1): 13–22.
Wang P.T., King C.E., Do A.H., Nenadic Z. Pushing the communication speed limit of a noninvasive BCI speller. Cornell University Library arXiv. 2012. 1212: 0469.
Дополнительные материалы отсутствуют.
Инструменты
Журнал высшей нервной деятельности им. И.П. Павлова