1. На главную
  2. Электронные версии
  3. Журнал высшей нервной деятельности им. И.П. Павлова
  4. T. 72, № 5, 2022

Журнал высшей нервной деятельности им. И.П. Павлова, 2022, T. 72, № 5, стр. 728-738

Влияние выбора стратегии формирования обучающего множества и способа фильтрации на эффективность имк, основанного на спектрометрии в ближнем инфракрасном диапазоне

М. Р. Исаев 1, 2, *, П. Д. Бобров 1, 2

1 Институт высшей нервной деятельности и нейрофизиологии Российской академии наук
Москва, Россия

2 Российский национальный исследовательский медицинский университет им. Н.И. Пирогова
Москва, Россия

* E-mail: isaev.mikhail@ihna.ru

Поступила в редакцию 11.04.2022
После доработки 15.06.2022
Принята к публикации 27.06.2022

Полный текст (PDF)

Аннотация

В работе предлагается алгоритм работы интерфейса мозг–компьютер, основанного на регистрации гемодинамической активности с помощью спектрометрии в ближнем инфракрасном диапазоне (БИКС), который адаптирован для применения в целях реабилитации двигательных нарушений. Алгоритм включает способ фильтрации, учитывающий частоту предъявления инструкций с целью минимизации временной задержки в целевом частотном диапазоне, последовательную классификацию состояния покоя и выполняемых мысленных задач, а также дообучение классификатора интерфейса на ранее полученных данных. Влияние предложенного способа фильтрации, дообучения и выбора меньшего числа каналов на точность распознавания воображаемых движений оценивается на данных трех серий экспериментов, проведенных ранее в лаборатории с участием здоровых добровольцев. Показано, что удаление шумовых низкочастотных составляющих сигнала БИКС с помощью предложенной фильтрации значимо увеличивает точность классификации, как и дообучение на предыдущих сессиях того же человека, а число каналов регистрации можно уменьшить без потери точности распознавания.

Ключевые слова: интерфейс мозг–компьютер, спектрометрия ближнего инфракрасного диапазона, воображение движений, фильтрация

ВВЕДЕНИЕ

Интерфейс мозг–компьютер (ИМК) – это система, позволяющая человеку или животному взаимодействовать с окружающей средой с помощью сигналов мозга, минуя привычную при таком взаимодействии мышечную активность. В последние годы интерес к данным разработкам все возрастает в связи с существенными достижениями в данной области. С 2006 по 2016 год количество исследовательских групп, занимающихся вопросами интерфейсов мозг–компьютер, возросло с 8 до 116 (Ramadan, Vasilakos, 2017), а ежегодное количество публикаций по этой теме за предыдущее десятилетие выросло более, чем в два раза (Saha et al., 2021).

Относительно новым способом регистрации активности мозга является спектроскопия в ближнем инфракрасном диапазоне (БИКС, near infrared spectroscopy, NIRS). Согласно обзору (Hramov et al., 2021) БИКС является единственной альтернативой электроэнцефалографии (ЭЭГ) при создании портативных ИМК в ближайшем будущем. Этот метод основан на изменениях оптических свойств крови в определeнных областях мозга при выполнении ментальных задач. Часто в исследованиях БИКС используют совместно с ЭЭГ (Rezazadeh et al., 2019; Chiarelli et al., 2018). Однако, недавние исследования показывают, что БИКС вполне успешно можно применять и как самостоятельный метод в ИМК (Ge et al., 2017). Главными преимуществами БИКС по сравнению с ЭЭГ являются устойчивость к движениям оператора ИМК, устойчивость к электрическим помехам и незначительное время на подготовку. Наиболее популярным методом классификации сигнала БИКС в ИМК является метод линейного дискриминантного анализа (Naseer, Hong, 2015). Показано, что на этапе предобработки сигналов БИКС простая полосовая фильтрация может быть эффективным средством устранения шумов (Liu et al., 2013). Используются различные частотные диапазоны: от 0.1 до 0.5 Гц (Power et al., 2011), от 0.01 до 0.2 Гц (Hu et al., 2012), от 0.01 до 0.1 (Hramov et al., 2020) и от 0.1 до 0.5 Гц (Tomita et al., 2014). Однако, какой–то явный лидер среди способов фильтрации отсутствует.

В данной работе предложен ряд методов обработки данных и обучения классификатора для интерфейса мозг–компьютер, основанного на регистрации БИКС. Целью работы является оценка эффективности этих методов на данных, полученных ранее при проведении экспериментов с ИМК, управляемым при помощи кинестетического представления движений. Предполагается, что предложенные методы наиболее подходят для ИМК, созданных для реабилитации двигательных нарушений после инсульта, черепно-мозговой травмы.

Сфера реабилитации при помощи нейроинтерфейсов активно развивается последнее десятилетие. В частности, активно развивается область неврологии, посвященная реабилитации постинсультных и посттравматических больных с помощью ИМК на основе представлений движений. Установлено, что тренировка кинестетического воображения движений у постинсультных пациентов с помощью ИМК на основе ЭЭГ, сопряжeнном с экзоскелетом кисти, улучшает восстановление двигательных функций (Фролов и др., 2016; Frolov et al., 2017). Обзор, посвящeнный реабилитации с помощью ИМК пациентов после перенесeнного инсульта, включал в себя 28 публикаций таких исследований (Ang, Guan, 2013). В 26 из них ментальными задачами являлись воображаемые движения. В 25 работах регистрировалась электроэнцефалограмма и только в одной (Mihara et al., 2013) интерфейс мозг–компьютер работал за счeт спектроскопии в ближней инфракрасной области. Проведенный через пять лет мета–анализ клинических исследований реабилитационных систем, включающих ИМК (Cervera et al., 2018), по-прежнему выделяет только работу (Mihara et al., 2013), использующую БИКС, как и недавний обзор, посвященный оценке кратковременных и отложенных эффектов реабилитационных процедур с использованием ИМК (Bai et al., 2020). В работе (Mihara et al., 2013) биологическая обратная связь была реализована с помощью изображения на экране. Цвет и высота столбцов, отображаемых на мониторе, характеризовали уровень регистрируемого сигнала и давали испытуемому представление об отклике на выполняемую ментальную задачу. Однако, в таком подходе данные не классифицируются, и следовательно, необходимы дополнительные действия для подключения и работы экзоскелета и дополнительной сенсомоторной обратной связи. Для реализации такой связи помимо обработки сигнала необходима его классификация в режиме реального времени.

Другой проблемой, часто возникающей при создании ИМК, является трудность при использовании для обучения классификатора данных, полученных для конкретного человека в другие дни или данных от других участников экспериментов. При использовании ЭЭГ в качестве исходного сигнала для дообучения классификатора, как правило, приходится применять нетривиальные математические преобразования (Congedo et al., 2017; Rodrigues et al., 2018; Engemann et al., 2018; Peterson et al., 2021). Чаще всего такие преобразования не учитывают физиологическую природу сигнала, поскольку их целью является наилучшее совмещение данных в некотором математическом пространстве. Например, метод Riemannian Procrustes Analysis совмещает ковариационные матрицы отрезков ЭЭГ, учитывая Риманову метрику на многообразии симметричных положительно определенных матриц. Интерпретация сигналов, полученных после таких преобразований, как правило сильно затруднена или невозможна. Поэтому представляется интересным проверить, возможно ли дообучение классификатора БИКС ИМК на предыдущих сессиях без привлечения подобных методов.

Таким образом, в настоящей работе исследуется ИМК, основанный на распознавании сигнала БИКС при кинестетическом воображении движений. Предлагаются методы фильтрации сигнала в реальном времени и дообучения, позволяющие повысить точность распознавания. Также исследуется возможность уменьшения числа каналов. Показано, что в некоторых случаях число каналов регистрации можно снизить без потери в точности распознавания.

МЕТОДИКА

В рамках данного исследования было проведено три серии экспериментов. В каждой серии принимали участие правши без известных психических и неврологических нарушений. Они были заранее ознакомлены с экспериментальным протоколом и дали письменное согласие на участие в эксперименте. Протокол был одобрен этической комиссией Института высшей нервной деятельности и нейрофизиологии РАН.

В первой серии экспериментов принимало участие 9 испытуемых, от 22 до 50 лет (30 ± 11 лет). Каждый испытуемый принимал участие в экспериментах до 11 дней. Во второй серии экспериментов принимало участие 5 испытуемых (26 ± 4 лет) до 8 дней. В третьей серии экспериментов принимало участие 3 испытуемых из первой серии 22, 30, и 50 лет до 11 дней. Все испытуемые были правшами.

Регистрация данных

Для регистрации БИКС–сигнала использовался прибор “NIRScout” компании “NIRx Medical Technologies”. 8 детекторов и 16 источников излучения в ближней инфракрасной области были вмонтированы в тканевую шапочку. Каждая пара источник–детектор излучения формирует один канал получения данных. Однако, если источник и детектор разнесены слишком далеко, то регистрируется только шумовой сигнал, так как всe излучение поглощается в тканях головы и не достигает детектора. Если детектор находится слишком близко к источнику, то незначительная доля зарегистрированного излучения достигает тканей мозга, а следовательно, такие каналы не несут информации об активности мозга (Исаев и др., 2017). В итоге, из всех возможных каналов использовались только те, в которых источник и детектор разнесены на расстояние около 3 см. Каждый источник излучает попеременно на двух длинах волн: 760 и 850 нм, и включается 125 раз в секунду. На этих длинах волн существенно различаются коэффициенты поглощения окси- и дезоксигемоглобина. Источники включались последовательно, во избежание интерференции. Таким образом, гемодинамическая активность регистрировалась с частотой 125/(2* число источников).

Стимулы и инструкции

Участник эксперимента сидел в кресле напротив монитора компьютера. На мониторе предъявлялись инструкции в виде стрелок. Перед каждой инструкцией о выполнении задачи предъявлялась инструкция о подготовке к выполнению данной задачи (рис. 1). Инструкции были представлены в виде стрелок, которые подсвечивались различными цветами. Зеленая стрелка, направленная влево или вправо, означала, что испытуемый должен совершать реальное движение/представлять движение левой или правой конечностью соответственно. Зеленая стрелка, направленная вверх, означала инструкцию “расслабиться и сидеть неподвижно”. Синий цвет стрелки означал, что испытуемому нужно приготовиться к выполнению соответствующей инструкции.

Рис. 1.

Структура экспериментов каждой серии. Fig. 1. The structure of each experiment series.

Экспериментальная процедура

Каждый экспериментальный день первой сессии состоял из четырeх последовательных сессий различных типов (рис. 1). В сессии первого типа испытуемый должен был выполнять три задачи: медленно сжимать левую кисть в кулак, медленно сжимать правую кисть в кулак, сидеть неподвижно в расслабленном состоянии. В сессии второго типа вместо реальных движений испытуемый должен был кинестетически представлять движения из первой сессии. Сессии третьего и четвeртого типов аналогичны первым двум. Отличие заключалось в том, что вместо рук испытуемому предлагалось совершать/представлять нажатие соответствующей стопой ноги на педаль. Каждая сессия состояла из трeх блоков, каждый блок состоял из двух инструкций левой конечности, двух инструкций правой конечности и четырeх инструкций покоя. Активные инструкции предъявлялись в случайном порядке. Длительность инструкций составляла 20 секунд, длительность подготовительных инструкций – 3 секунды, итоговая продолжительность одной экспериментальной сессии – около 9 минут. Все 16 источников излучения БИКС включались последовательно, таким образом, итоговая частота дискретизации БИКС сигнала составляла 3.90625 Гц. Использовались 33 канала, схема взаимного расположения которых представлена на рис. 2 (а).

Рис. 2.

Схема расположения используемых каналов БИК спектрометра. Вид сверху. Положением канала считается среднее арифметическое между положением источника и приемника излучения. (а) – серии 1 и 3, (б) – серия 2. Fig. 2. Schematic positions of the NIRS channels. Channel position is the mean between source and detector positions. (а) – series 1 and 3, (б) – series 2.

Во второй серии экспериментов в качестве активных состояний выступали только преставления движений руками (рис. 1). Участникам предлагалось представлять нецелевое движение всей рукой. Количество используемых источников излучения БИКС было сокращено в 2 раза с 16 до 8, что позволило увеличить частоту регистрации БИКС сигнала в 2 раза до 7.8125 Гц, однако привело к сокращению числа каналов до 23 (рис. 2 (б)). Экспериментальная сессия состояла из четырeх блоков. Один блок состоял из 8 инструкций по аналогии с первой серией экспериментов. Длительность одной инструкции составляла 15 секунд, подготовительной инструкции – 3 секунды. Итоговая длительность одной сессии – около 10 минут.

В третьей серии экспериментов в качестве активных состояний выступали преставления сжатия кисти в кулак (рис. 1). Схема расположения источников и детекторов излучения, каналы, частота регистрации совпадали с первой серией. Экспериментальная сессия состояла из 10 блоков инструкций. Каждый блок состоял из четырeх последовательных инструкций: покой, представление сжатия левой кисти, покой, представление сжатия правой кисти. Длительность инструкций составляла 15 секунд, длительность подготовительных инструкций – 3 секунды, итоговая продолжительность одной экспериментальной сессии – около 12 минут. В данной серии была реализована обратная связь в виде зелeного круга в центре экрана. Если классификатор верно распознавал выполняемую инструкцию, радиус круга увеличивался на 1/30 от максимального, если неверно – уменьшался на 1/30 от максимального. В состоянии покоя и в первых трeх блоках сессии обратная связь не предъявлялась.

Обработка данных

Обработка записанных данных производилась в среде Matlab. Интенсивности регистрируемого излучения на двух длинах волн с помощью модифицированного закона Бугера–Ламберта–Бера (Delpy et al., 1988) пересчитывались в концентрации окси– и дезоксигемоглобина. Таким образом, один канал давал два набора концентраций, а итоговая размерность БИКС сигнала составляла 2*(число каналов). Далее, для удаления низкочастотного приборного тренда использовался фильтр верхних частот с частотой среза 0.002 Гц. Для дополнительного удаления шумовых низкочастотных составляющих было предложено использовать фильтр верхних частот с частотой среза близкой к частоте предъявления инструкций, если она постоянная (инструкции покоя во всех сериях и активные инструкции третьей серии). В первой серии частота среза дополнительного фильтра составляла 0.018 Гц, во второй – 0.023, в третьей – 0.012 Гц и 0.026 Гц. При симуляции онлайн-процедуры использовалось два фильтра Чебышева первого рода с неравномерностью в полосе пропускания 1 дБ: фильтр верхних частот первого порядка с частотой среза 0.005 Гц для базовой фильтрации и полосовой фильтр второго порядка для дополнительной фильтрации. Параметры второго фильтра подбирались так, чтобы обеспечить нулевой сдвиг фаз на частоте предъявления инструкций.

Для классификации БИКС сигнала применялся линейный дискриминантный анализ. Для оценки точности классификации рассчитывалась матрица ошибок. В i-ой строке, j-ом столбце этой матрицы стоит доля от всех предъявлений инструкции j, при которых классификатор распознал состояние i. Точностью классификации P далее называется среднее от диагональных элементов матрицы ошибок. Матрица ошибок рассчитывалась с помощью перекрeстной проверки, при которой каждый из блоков поочередно использовался для тестирования классификатора в то время, как остальные блоки сессии для обучения. Тестировались непересекающиеся секундные отрезки записи. При использовании дополнительной фильтрации классификация шла ступенчато: сначала шло распознавание покой – активное состояние, далее – левая конечность – правая конечность.

Помимо классификации по всем каналам оценивалась точность классификации по ограниченному набору каналов. Этот набор был различным для разных серий и типов экспериментов. В первой и третьей серии при представлении и совершении движений кистью были выбраны 8 каналов, расположенные над моторными областями по аналогии с предыдущим исследованием (Бобров и др., 2016), каналы 4, 5, 6, 7, 21, 22, 25, 27. Аналогично для представлений и совершений движений ногами в первой серии были выбраны 6 каналов: 1, 4, 12, 19, 20, 21. При помощи алгоритма отбора каналов из работы (Бобров и др., 2016) для представлений движения всей рукой в серии 2 были выбраны 12 каналов: 3, 4, 5, 6, 8, 11, 14, 15, 16, 18, 21, 22.

Рассматривался алгоритм дообучения классификатора на предыдущих сессиях, учитывающий специфику реальной процедуры реабилитации (Frolov et al., 2017), в которой экспериментальные записи одного пациента накапливаются последовательно, как и блоки одной сессии (рис. 3). Для эмуляции реабилитационной процедуры в реальном времени, все экспериментальные сессии одного испытуемого в случайном порядке объединялись в одну запись. Классификатор проходил тестирование последовательно на всех блоках объединeнной записи, начиная со второго.

Рис. 3.

Блок–схема предложенного ИМК. Fig. 3. Flowchart of the proposed BCI.

Достоверность различий в точности классификации рассчитывалась с помощью критерия Фридмана, апостериорный анализ попарных сравнений проводился с помощью критерия Уилкоксона при учeте поправки Бенджамини–Иекутиели на множественную проверку гипотез (Benjamini, Yekutieli, 2001). Гипотезу об отличном от нуля наклоне линии тренда проверяли с помощью линейного регрессионного анализа.

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЙ

Оценивалось влияние дополнительной фильтрация на точность классификации во всех сериях экспериментов. Также оценивалось, какую точность распознавания можно получить, используя дополнительную фильтрацию и сильно ограниченный набор каналов. На рис. 4. представлены результаты классификации всех экспериментальных сессий всех испытуемых во всех сериях в 3 вариантах: светло–серым цветом и кружками отмечена точность распознавания при использовании всех каналов, серым и крестиками – всех каналов и дополнительной фильтрации, тeмно–серым и квадратиками – набора каналов и дополнительной фильтрации. Базовая фильтрация применялась во всех случаях. Пунктирной линией отмечен уровень случайного распознавания, звeздочками – наличие достоверных различий среди всех вариантов сигнала (p < 0.05; критерий Фридмана).

Рис. 4.

Точность распознавания P при классификации всех типов экспериментов из всех серий с применением различных фильтров и для различных наборов каналов. Пунктирной линией отмечен уровень случайного распознавания, звeздочками – наличие достоверных различий среди всех вариантов сигнала (p < 0.05; критерий Фридмана). Fig. 4. Classification accuracy P of all experiment types in all series using different filters and channels sets. The dotted line indicates the level of random classification, asterisks – significant differences between all signal variants (p < 0.05; Friedman test).

Точность классификации по всем каналам при представлениях и движениях рук, представлениях и движениях ног, во второй и третьей сериях экспериментов составляло соответственно(здесь и далее указаны медиана, 1 и 3 квартили) 49 [42; 59]%, 60 [53; 67]%, 46 [39; 53]%, 53 [48; 62]%, 56 [39; 63]%, 62 [53; 69]%. Аналогичные результаты при дополнительной фильтрации и классификации по всем каналам – 56 [48; 66]%, 63 [58; 73]%, 55 [50; 63]%, 60 [56; 68]%, 65 [55; 70]%, 76 [74; 86]%, При использовании ограниченного набора каналов и дополнительной фильтрации точность классификации для тех же типов экспериментов составляло 53 [45; 67]%, 71 [59; 77]%, 56 [48; 66]%, 69 [57; 75]%, 59 [49; 67]%, 67 [64; 71]%. В экспериментах каждого типа были обнаружены достоверные различия в точности классификации между тремя различными вариантами сигнала (p < 0.05). Апостериорный анализ показал, что во всех типах экспериментов точность классификации по всем каналам с базовой фильтрацией была достоверно ниже остальных вариантов (p < 0.05). При совершениях движений руками и в третьей серии обнаружены достоверные различия между точностью классификации с дополнительной фильтрацией по всем и набору каналов (p < 0.05). В остальных типах экспериментов значимых различий не обнаружено.

Сравнивалось три варианта обучения и классификации: по всем каналам и обучению только на блоках текущей сессии, по всем каналам и дообучению на всех предыдущих блоках, включая предыдущие сессии, по выбранным каналам и дообучению на всех предыдущих блоках, включая предыдущие сессии. Во всех случаях сигнал проходил основную и дополнительную фильтрацию, которая возможна в реальном времени. Результат усреднения точности классификации в 100 таких случайных перестановках представлен на рис. 5. На нeм представлена зависимость усреднeнной точности распознавания трeх состояний от номера классифицируемого блока. Серая кривая – с обучением только на текущей сессии, чeрная – по всем каналам с дообучением на предыдущих сессиях, светло-серая – по набору каналов с дообучением на предыдущих сессиях. Пунктирной линией отмечена линейная аппроксимация чeрной кривой.

Рис. 5.

Зависимость качества классификации блока от его номера при симуляции последовательности экспериментов с классификацией трeх состояний в реальном времени. Сравнение классификации по всем каналам (серые кривые), по всем каналам с дообучением (чeрные кривые) и набору каналов с дообучением (светло-серые кривые) для всех типов экспериментов. Пунктиром отмечены линии регрессии для чeрных кривых. Fig. 5. Dependence of the classification accuracy on block number during simulation of 3 states real–time recognition. Gray curves indicate all channels, black curves indicate all channels with transfer learning, light grey curves indicate channels set with transfer learning. Dotted lines indicate regression lines for black curves.

Пилообразная форма полученной зависимости связана с тем, что при тестировании первого блока каждой сессии в последовательности сессий в обучающей выборке отсутствуют данные из той же экспериментальной сессии. Для всех типов экспериментов и всех серий генеральный угловой коэффициент линии регрессии достоверно выше 0 (p < 0.05).

ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ

Вопрос предобработки для сигналов БИКС стоит достаточно остро. С помощью БИКС регистрируются изменения концентраций окси- и дезоксигемоглобина в объeмах тканей головы, через которые проходит инфракрасное излучение на пути от источника к детектору. Эти изменения концентраций включают в себя в том числе и BOLD-ответ на выполнение инструкций. К сожалению, помимо него в сигнале присутствуют другие составляющие: дыхание, волны Майера, сердечные сокращения, приборный шум и низкочастотный высокоамплитудный тренд (Naseer, Hong, 2015). Было предложено учесть тот факт, что инструкции покоя строго чередуются с инструкциями активных состояний, а следовательно И сигнал должен иметь характерную частотную составляющую. Тогда в частотной области можно разделить BOLD-ответ и более низкочастотные составляющие. Показано, что, действительно, такая фильтрация достоверно улучшает точность распознавания во всех рассмотренных типах экспериментов. Экспериментальная процедура в первой и второй серии была построена таким образом, что активные инструкции шли в случайном порядке, чтобы испытуемый не мог знать о предстоящих состояниях и начать выполнять задачу заранее, нарушая тем самым разметку данных. В то же время, такой дизайн экспериментов не позволяет определить частоту, характерную для состояний, связанных с отдельной конечностью, и использовать сигнал на этой частоте в качестве признаков для последующей классификации. Таким образом, встаeт вопрос баланса между рандомизацией состояний и качеством распознавания. В контексте процедуры реабилитации вопрос остаeтся открытым и требует проведения экспериментов в клинике с реальными пациентами. Ответ на него зависит от того, насколько важной является точность обратной связи, напрямую связанной с классификацией, по сравнению с рандомизацией инструкций для восстановления двигательных функций пациентов.

Также было показано, что в 4 из 6 типов экспериментов классификация по небольшому набору каналов даeт такие же результаты, как и классификация по всем каналам. Этот результат означает, что можно снизить число используемых источников и детекторов излучения, не потеряв в точности распознавания. Это полезно с практической точки зрения, потому что позволяет увеличить частоту опроса, уменьшить время подготовки процедуры и снизить стоимость оборудования без потери качества, т.к. цена источников и детекторов довольно высока по сравнению с остальными комплектующими.

В работе было проверено, можно ли использовать другие сессии испытуемого для обучения классификатора. Показано, что такое дообучение даeт значительный выигрыш в точности классификации, по сравнению со стандартным подходом, когда классификатор обучается только по данным текущей экспериментальной сессии. Также показано, что в среднем точность распознавания с дообучением достоверно растeт при росте номера сессии в цепочке экспериментов для всех типов экспериментов. Причeм оба эффекта наблюдаются как при классификации по всем каналам, там и при использовании набора от 6 до 12 каналов. Ожидается, что с накоплением достаточного количества сессий этот рост прекратится, не достигнув максимального уровня точности, но имеющееся количество записей не позволяет подтвердить или опровергнуть эту гипотезу.

ВЫВОДЫ

1. Удаление шумовых низкочастотных составляющих сигнала БИКС с помощью фильтрации, учитывающей частоту предъявления инструкций, значимо увеличивает точность распознавания состояний в ИМК при представлениях и совершениях движений руками и ногами в среднем на 9 процентных пунктов.

2. В экспериментах с некоторыми типами активных состояний можно сократить число каналов регистрации без потери точности распознавания.

3. Дообучение на предыдущих сессиях того же испытуемого увеличивает точность распознавания. Для всех типов экспериментов точность классификации растeт при увеличении числа экспериментов в последовательности сессий.

Список литературы

  1. Бобров П.Д., Исаев М.Р., Коршаков А.В., Оганесян В.В., Керечанин Я.В., Поподько А.И., Фролов А.А. Источники электрофизиологической и фокусы гемодинамической активности мозга, значимые для управления гибридным интерфейсом мозг-компьютер, основанным на распознавании паттернов ЭЭГ и спектрограмм ближнего инфракрасного диапазона при воображении движений. Физиология человека. 2016. 42(3): 12–24.

  2. Исаев М.Р., Оганесян В.В., Гусек Д., Снашел В. Моделирование распространения излучения в тканях головы с учетом анизотропии рассеяния для оптимизации расположения приемников и источников излучения в интерфейсе мозг-компьютер, основанном на ближней инфракрасной спектроскопии. Журн. высш. нерв. деят. им. И.П. Павлова. 2017. 67(4): 546–553.

  3. Фролов А.А., Мокиенко О.А., Люкманов Р.Х., Черникова Л.А., Котов С.В., Турбина Л.Г., Бобров П.Д., Бирюкова Е.В., Кондур А.А., Иванова Г.Е., Старицын А.Н., Бушкова Ю.В., Джалагония И.З., Курганская М.Е., Павлова О.Г., Будилин С.Ю., Азиатская Г.А., Хижникова А.Е., Червяков А.В., Лукьянов А.Л., Надарейшвили Г.Г. Предварительные результаты контролируемого исследования эффективности технологии ИМК–экзоскелет при постинсультном парезе руки. Вестник Российского государственного медицинского университета. 2016. 2: 16–23.

  4. Ang K., Guan C. Brain–computer interface in stroke rehabilitation. Journal of Computing Science and Engineering. 2013. 7(2): 139–146.

  5. Bai Z., Fong K.N., Zhang J.J., Chan J., Ting K.H. Immediate and long–term effects of BCI–based rehabilitation of the upper extremity after stroke: a systematic review and meta–analysis. Journal of neuroengineering and rehabilitation. 2020. 17(1): 1–20.

  6. Benjamini Y., Yekutieli D. The control of the false discovery rate in multiple testing under dependency. Annals of statistics. 2001: 1165–1188.

  7. Cervera M.A., Soekadar S.R., Ushiba J., Millán J.D.R., Liu M., Birbaumer N., Garipelli G. Brain–computer interfaces for post–stroke motor rehabilitation: a meta–analysis. Annals of clinical and translational neurology. 2018. 5(5): 651–663.

  8. Chiarelli A.M., Croce P., Merla A., Zappasodi F. Deep learning for hybrid EEG–fNIRS brain–computer interface: application to motor imagery classification. Journal of neural engineering. 2018. 15(3): 036028.

  9. Congedo M., Barachant A., Bhatia R. Riemannian geometry for EEG–based brain–computer interfaces; a primer and a review. Brain–Computer Interfaces. 2017. 4(3): 155–174.

  10. Delpy D.T., Cope M., van der Zee P., Arridge S., Wray S., Wyatt J.S. Estimation of optical pathlength through tissue from direct time of flight measurement. Physics in Medicine & Biology. 1988. 33(12): 1433.

  11. Engemann D.A., Raimondo F., King J.-R., Rohaut B., Louppe G., Faugeras F., Annen J., Cassol H., Gosseries O., Fernandez-Slezak D., Laureys S., Naccache L., Dehaene S., Sitt J.D. Robust EEG-based cross-site and cross-protocol classification of states of consciousness. Brain. 2018, 141(11): 3179–3192.

  12. Frolov A., Mokienko O., Lyukmanov R., Biryukova E., Kotov S., Turbina L., Nadareyshvily G., Bushkova Y. Post–stroke rehabilitation training with a motor–imagery-based brain–computer interface (BCI)–controlled hand exoskeleton: a randomized controlled multicenter trial. Frontiers in neuroscience. 2017. 11: 400.

  13. Ge S., Yang Q., Wang R., Lin P., Gao J., Leng Y., Yang Y., Wang H. A brain–computer interface based on a few–channel EEG–fNIRS bimodal system. IEEE Access. 2017. 5: 208–218.

  14. Hramov A.E., Maksimenko V.A., Pisarchik A.N. Physical principles of brain–computer interfaces and their applications for rehabilitation, robotics and control of human brain states. Physics Reports. 2021. 918: 1–133.

  15. Hu X.S., Hong K.S., Ge S.S. fNIRS–based online deception decoding. Journal of Neural Engineering. 2012. 9(2): 026012.

  16. Liu Y., Ayaz H., Curtin A., Onaral B., Shewokis P.A. Towards a hybrid P300–based BCI using simultaneous fNIR and EEG. International Conference on Augmented Cognition. Springer, Berlin, Heidelberg, 2013: 335–344.

  17. Mihara M., Hattori N., Hatakenaka M., Yagura H., Kawano T., Hino T., Miyai I. Near–infrared spectroscopy–mediated neurofeedback enhances efficacy of motor imagery–based training in poststroke victims: a pilot study. Stroke. 2013. 44(4): 1091–1098.

  18. Naseer N., Hong K.S. fNIRS–based brain–computer interfaces: a review. Frontiers in human neuroscience. 2015. 9: 3.

  19. Peterson V., Nieto N., Wyser D., Gassert R., Lambercy O., Milone D.H., Spies R.D. Transfer learning based on optimal transport for motor imagery brain–computer interfaces. IEEE Transactions on Biomedical Engineering. 2021. 69(2): 807–817.

  20. Power S.D., Kushki A., Chau T. Towards a system–paced near–infrared spectroscopy brain–computer interface: differentiating prefrontal activity due to mental arithmetic and mental singing from the no-control state. Journal of neural engineering. 2011. 8(6): 066004.

  21. Ramadan R.A., Vasilakos A.V. Brain computer interface: control signals review. Neurocomputing. 2017. 223: 26–44.

  22. Rezazadeh S.A., Yousefi R., Wong A.T., Rudzicz F., Chau T. Development of a ternary hybrid fNIRS–EEG brain–computer interface based on imagined speech. Brain–Computer Interfaces. 2019. 6(4): 128–140.

  23. Rodrigues P.L.C., Jutten C., Congedo M. Riemannian procrustes analysis: transfer learning for brain–computer interfaces. IEEE Transactions on Biomedical Engineering. 2018. 66(8): 2390–2401.

  24. Saha S., Mamun K.A., Ahmed K., Mostafa R., Naik G.R., Darvishi S., Khandoker A.H., Baumert M. Progress in brain computer interface: challenges and opportunities. Frontiers in Systems Neuroscience. 2021: 4.

  25. Tomita Y., Vialatte F.B., Dreyfus G., Mitsukura Y., Bakardjian H., Cichocki A. Bimodal BCI using simultaneously NIRS and EEG. IEEE Transactions on Biomedical Engineering. 2014. 61(4): 1274–1284.

Дополнительные материалы отсутствуют.

Инструменты

предыдущая статья выпуска содержание выпуска

Журнал высшей нервной деятельности им. И.П. Павлова

Архивы выпусков Информация о журнале Отправить рукопись в журнал