1. На главную
  2. Электронные версии
  3. Журнал высшей нервной деятельности им. И.П. Павлова
  4. T. 72, № 5, 2022

Журнал высшей нервной деятельности им. И.П. Павлова, 2022, T. 72, № 5, стр. 609-622

Методика айтрекинга в психолингвистике и параллельная регистрация с ЭЭГ

М. Ю. Походай 1, *, Б. Бермудес-Маргаретто 4, Ю. Ю. Штыров 1, 2, А. В. Мячиков 1, 3

1 Центр нейроэкономики и когнитивных исследований Института когнитивных нейронаук НИУ ВШЭ
Москва, Россия

2 Центр функционально интегративной нейронауки (CFIN), кафедра клинической медицины, Орхусский университет
Орхус, Дания

3 Университет Нортумбрии в Ньюкасле
Ньюкасл-апон-Тайн, Великобритания

4 Университет Саламанки
Саламанка, Испания

* E-mail: mpokhoday@hse.ru

Поступила в редакцию 15.03.2022
После доработки 22.06.2022
Принята к публикации 27.06.2022

Полный текст (PDF)

Аннотация

Развитие технологий привело к значительному прогрессу в применяемых методах исследований в когнитивных науках. Среди методов изучения поведения человека и лежащих в его основе мозговых механизмов и когнитивных процессов – айтрекинг (окулография) – метод записи и анализа глазодвигательной активности в реальном времени. В этом обзоре мы рассмотрим использование айтрекинга в когнитивных исследованиях как отдельно, так и в сочетании с электроэнцефалографией, а именно анализом связанных с событиями потенциалов (ССП или ПСС, eng. Event-related potentials (ERP)). Мы также обсудим отслеживание взгляда с точки зрения его использования в языковых исследованиях: от изучения понимания и построения предложений до изучения второго языка и двуязычия. Наконец, речь пойдет о параллельной регистрации глазодвижения и ERP. Своим обзором мы хотим обратить внимание не только на сильные стороны методики айтрекинг, но и на проблемы, которые, как мы считаем, можно решить путем применения параллельной регистрации глазодвигательной активности и ЭЭГ.

Ключевые слова: айтрекинг, окулография, ЭЭГ, ССП, ERP, когнитивные науки, мультимодальные методы, психолингвистика, параллельная регистрация

ОСНОВЫ АЙТРЕКИНГА: ОБЗОР

Существует ряд основных аспектов, которые необходимо принять во внимание, прежде чем применять метод отслеживания взгляда в исследованиях. Во-первых, необходимо выбрать тип используемого оборудования для записи движения глаз: электроокулография (ЭОГ), склеральная контактная линза/поисковая катушка/аспирационный колпачок (см., например, Ярбус, 1965), фотоокулография (ФОГ), видеоокулография (ВОГ) или видеоокулографы комбинированного типа, в которых положение взора оценивается по соотношению центра зрачка и отражения инфракрасного света от роговицы (Duchowski, 2017).

В этом обзоре мы сосредоточимся в основном на исследованиях с использованием оптических неинвазивных бинокулярных и/или монокулярных айтрекеров, поскольку они наиболее распространены в настоящее время. Современные неинвазивные устройства слежения за движением глаз подразделяются в зависимости от форм-фактора на: головные (например, очки EyeLink II (SR-Research, Оттава, Канада)) или более современные варианты: Tobii Pro Glasses (Tobii, Дандерюд, Швеция), Pupil labs core (Pupil labs, Берлин, Германия) или статические (устанавливаемые на рабочий стол, на монитор компьютера) или башенного типа: например, SMI High speed (SMI, Германия), Eyelink 1000+ и Portable Duo (SR-Research, Ottawa, Canada), Tobii Eye-tracker 4C (Tobii, Дандерюд, Швеция)). Большинство передовых систем также позволяет работать в дистанционном режиме для применения в сканерах МРТ или системах МЭГ (например, EyeLink 1000+ с креплением Long Distance Arm Mount (SR-Research, Оттава, Канада)), в то время как другие системы можно использовать для отслеживания глаз в очках виртуальной реальности (HTC Vive VR с айтрекером Pupil Labs Pro (Pupil labs, Берлин, Германия)). Типичный айтрекер включает в себя компьютер, который используется для демонстрации экспериментальных стимулов и управления камерой, записывающей движения глаз. В некоторых конфигурациях (например, EyeLink 1000+ (SR-Research, Оттава, Канада)) для проведения экспериментов требуется два компьютера (главный компьютер, управляющий, обрабатывающий и фильтрующий данные о движении глаз, и компьютер для демонстрации стимулов, хранения и обработки данных).

В основном для получения данных современные айтрекеры используют принцип видеорегистрации и анализа отражения инфракрасного света от роговицы и положение зрачка (подробное описание см. в Duchowski, 2017; Holmqvist et al., 2011): камера работает в паре с излучателем инфракрасного света (ИК) и отслеживает отражение ИК-света от роговицы (роговичное отражение (отражение Пуркинье P1)) и положение зрачка для оценки координат взора (Duchowski, 2017). Полученные данные состоят из замеров и событий, где замер представляет собой единичную запись положения глаз в координатах x и y, а события представляют собой набор замеров, сгруппированных по типу движения глаз: саккады, фиксации, прослеживающие движения глаз (ПДГ). Саккады – это “движения” глаза, которые обычно длятся от 30 до 80 мс, тогда как фиксации – это периоды относительной стабильности глаза, продолжительностью от нескольких десятков миллисекунд до нескольких секунд (Holmqvist et al., 2011). Прослеживающие движения глаз представляют собой плавное смещение взора без саккад и фиксаций. Обычно ПДГ регистрируются при слежении за объектом, движущимся с определенной скоростью, например, за самолетом.

Данные о движении глаз обычно разделяются по областям интереса (area of interest (AOI)) или зонам интереса (region of interest (ROI)). Например в предложении мы можем выделить в области интереса как отдельные слова и словосочетания, так и отдельные морфемы или буквы. В дополнение к движениям глаз также записывается размер зрачка, который может использоваться в качестве дополнительной метрики (Laeng et al., 2012). Данная методика получила название пупиллометрия (недавний обзор см. в Mathot, 2018). Одни системы позволяют вести только бинокулярную запись, т.е. параллельную запись движений обоих глаз (бинокулярный режим в SMI Red-M), другие (EyeLink 1000+ (SR-Research, Ottawa, Canada)) допускают как бинокулярный, так и монокулярный режимы. Перед сбором данных важно решить, является ли бинокулярная или монокулярная запись оптимальной/необходимой. Чаще используется монокулярный режим (Raney et al., 2014) и, как правило, записывается доминирующий глаз (для определения доминантности глаза можно использовать тест Майлза (Miles, 1930)).

Кроме того, айтрекеры различаются частотой дискретизации (от 30 до 2000 Гц). Более высокие частоты обеспечивают лучшее временное разрешение и четкость данных. По возможности рекомендуется использовать более высокие частоты, особенно если целевые стимулы имеют небольшую область интереса или состоят из ряда небольших областей интереса (более подробное объяснение см. в Conklin et al., 2018). Среди других важных свойств айтрекера специалисты выделяют точность, кучность, воспроизводимость и задержку. Точность – это средняя разница между фактическими координатами направления взора и координатами, зарегистрированными системой, в градусах зрительного угла. Поскольку видеоокулографы, используемые в настоящее время, не связаны напрямую с глазным яблоком, эту разницу следует учитывать и сообщать о ней при описании процесса сбора данных. Во время процедур калибровки и валидации ПО предоставляет исследователю среднюю и максимальную погрешности в градусах зрительного угла. В зависимости от условий и самой системы они могут варьироваться от 0.05 до 1 градуса. Если при валидации средняя ошибка превышает 1 градус, рекомендуется провести повторную калибровку системы. Кучность, согласно учебнику Кенета Холмквиста (Holmqvist et al, 2011), представляет собой оценку того, насколько последовательно трекер записывает положение глаз. В отличие от точности, которая определяет куда конкретно направлен взор участника, кучность говорит нам о разбросе замеров в области взора. Воспроизводимость указывает на последовательность работы айтрекера. Наконец, задержка – это то, насколько быстро система передает информацию о положении глаз во время записи. Айтрекеры отличаются своей задержкой, и чем она меньше, тем лучше: в большинстве систем она может составлять от 1 до 3 миллисекунд.

По сравнению с другими технологически сложными методами, используемыми в когнитивных и языковых исследованиях (такими как электрофизиологические или гемодинамические магнитно-резонансные измерения), айтрекинг относительно прост в освоении и применении: большинство современных айтрекеров оснащены удобным программным обеспечением (например, SR Research Experiment Builder и Dataviewer) и их поставщики, а также исследовательские сообщества предлагают всеобъемлющую поддержку исследователям. Ряд различных приложений для проведения экспериментов с открытым доступом (Opensesame, PsychoPy) совместимы с большим количеством айтрекеров. Кроме того, большинство айтрекеров позволяют одновременно отслеживать движения глаз и регистрировать данные о времени реакции, а также интегрировать их с другими типами сбора данных, такими как электроэнцефалография (ЭЭГ, конкретнее методика анализа связанных с событиями потенциалов), магнитоэнцефалография (МЭГ), функциональная магнитно-резонансная томография (фМРТ) и различные другие методы, поддерживающие передачу данных и маркеров через параллельный порт компьютера (список поддерживаемых методов см. в Holmqvist et al., 2011). Оборудование для отслеживания движения глаз в значительной степени является “неинвазивным” и простым в использовании – калибровка и настройка занимают 5–10 минут (Nystrom et al., 2013). Большинство айтрекеров могут записывать движения глаз в режиме свободного движения головы, что особенно полезно, например, при проведении исследований на детях.

Приведенный выше краткий обзор объясняет, почему отслеживание взгляда в настоящее время является одним из наиболее часто используемых методов в когнитивных исследованиях в целом и в языковых исследованиях в частности. Стоит отметить важную особенность методики айтрекинг, которую необходимо учитывать при планировании исследования и анализе данных, а также почему предпочтительнее совмещать айтрекинг с другими методами когнитивных исследований. В следующем разделе мы рассмотрим эту особенность и приведем несколько примеров использования метода отслеживания взгляда как обособленно, так и в комбинации с методикой анализа связанных с событиями потенциалов.

ПРИМЕНЕНИЕ АЙТРЕКИНГА В ПСИХОЛИНГВИСТИКЕ АЙТРЕКИНГ В ИССЛЕДОВАНИЯХ ЧТЕНИЯ

Исследование чтения – это область, в которой отслеживание взгляда используется чаще всего. Большое количество исследований было посвящено характеристикам беглого чтения на основе паттернов движения глаз читателей для выявления различных стадий обработки словоформ и доступа к значению слов (Rayner, 1998; Rayner et al., 1996; см. также Clifton et al., 2016 для детального обзора). Согласно Пикерингу и соавт. (Pickering, 2004), использование отслеживания глаз основано на двух основных принципах, как и любая другая мера времени реакции. Во-первых, количество и продолжительность индивидуальных фиксаций на целевом слове отражают степень когнитивных усилий, необходимых для его обработки (Staub, Rayner, 2007). Таким образом, можно предположить, что стимульное слово, которое получает меньшее количество и более короткие фиксации, легче обрабатывается. Второй принцип заключается в том, стимул, на который направлен взор участника, обрабатывается в этот момент — гипотеза “eye-mind” (Ярбус, 1965, Just, Carpenter, 1980). Это, однако, является одним из ограничений методики айтрекинг: направление взора лишь говорит нам о том, куда смотрит участник, однако происходящие процессы обработки зрительного стимула, планирование будущего смещения взора, механизмы контроля, поддержания и ориентирования внимания остаются практически недоступны при анализе глазодвигательной активности.

Так, в ранних исследованиях Альфреда Лукьяновича Ярбуса (1965) участники рассматривали зрительные стимулы, в то время как их область зрения искусственно ограничивалась. Ярбус разработал особую систему присосок для глазного яблока, которые ограничивали фовеальную область зрения (также известной как центральная ямка глазного яблока, отвечающая за наиболее четкое распознавание деталей стимула). Участники могли рассмотреть стимул, но не объединить отдельные “кадры” в общую картину и опознать стимул. Это происходит в связи с тем, что рецепторной информации о положении глазного яблока не хватает для связывания отдельных “кадров” и требуется задействовать информацию из парафовеального и переферийного регионов сетчатки для построения целостной картины стимула. Таким образом, хотя айтрекинг является очень эффективной методикой, стоит учитывать и его слабые стороны и по возможности комбинировать эту методику с другими методами. Примеры применения айтрекинга и комбинирования айтрекинга с ERP рассмотрим ниже.

Прежде всего, айтрекинг привлекателен для исследований в области чтения благодаря своей высокой временной и пространственной точности. Отслеживание взгляда позволяет получить доступ к когнитивным процессам, разворачивающимся “онлайн”, в том смысле, что интересующий процесс можно изучать в миллисекундном разрешении, например, в пределах одной фиксации на целевом слове (обзоры см. Henderson et al., 2013; Rayner et al., 2013). Наши глаза перемещаются по странице примерно 3–4 раза в секунду, когда мы читаем, при этом средняя продолжительность фиксации составляет около 200–250 мс, а средняя амплитуда саккад составляет восемь символов для взрослого опытного читателя. Последнее свойство примерно соответствует двум градусам зрительного угла для обычного текста на типичном расстоянии чтения. Важно отметить, что читатели не фиксируют каждое прочитанное слово: например, служебные и короткие слова пропускаются примерно в 70% случаев, тогда как содержательные и более длинные слова почти всегда фиксируются (Rayner, 1998). Таким образом, айтрекинг благодаря своей высокой временной разрешающей способности позволяет с высокой точностью изучать низколатентные процессы.

Двумя основными методами изучения движений глаз при чтении являются (1) парадигма движущегося окна и (2) парадигма границ. Эти методы позволяют управлять свойствами текста в зависимости от того, куда в данный момент смотрит читатель, предоставляя важные сведения о видах информации, извлекаемой в момент фиксации, – как из самого зафиксированного слова, так и из слов в парафовеальной области (Kennedy, 2000; Старр, Инхофф, 2004). Как правило, существующие исследования показывают, что читатели в основном усваивают информацию из фиксируемого в данный момент слова, а лексическая обработка фиксированного слова контролирует параметры отдельных глазодвигательных событий. Также, информация о словах в зоне перцептивного поля (4–5 символов от фиксации влево и 15–18 символов вправо) также влияет на текущие параметры взгляда, что указывает на прогностическую обработку в процессе чтения.

Различные исследования визуального распознавания слов и понимания предложений задокументировали несколько факторов, влияющих на процесс чтения. Например, продолжительность первой фиксации на слове отражает его длину и частотность в корпусе (Rayner, Duffy, 1986; Juhaszу et al., 2008), а также его семантику (например, предсказуемость слова из-за контекстных ограничений, см. Rayner et al., 2011), синтаксис (например, синтаксическую сложность и двусмысленность, см. Clifton, et al., 2011) и особенности дискурса (например, разрешение анафоры, см. Ehrlich, Rayner, 1983). Высокочастотные слова фиксируются на более короткое время или даже пропускаются, что указывает на парафовеальный доступ и/или прогностическое кодирование. Примечательно, что эта разница исчезает, если менее частотное слово повторяется три или более раз (см. следующий раздел об исследованиях двуязычия с использованием отслеживания взгляда). Существующие исследования показывают, что фиксации, но не саккады, чувствительны к этим и другим лингвистическим факторам, таким как частотность и знание слов, возраст усвоения, многозначность, морфологическая сложность, контекстуальные ограничения и правдоподобие (Staub, Rayner, 2007). В результате анализ фиксации чаще используется в исследованиях чтения.

Существуют данные о том, что на параметры последующей саккады влияет длина слова, фиксируемого в данный момент. При этом читатели демонстрируют более высокую вероятность создания прогрессивной саккады и пропуска более коротких, чем длинных слов (Brysbaert et al., 2005; Rayner et al., 2011). Большинство саккад развиваются в направлении чтения (например, вправо в английском языке, влево в иврите). В то же время нередки обратные или регрессивные саккады, составляющие около 20–25% всех саккад у детей при чтении и 10–15% у взрослых. Важность регрессивных движений глаз заключается в том, что они часто отражают повторный анализ ранее встреченного материала, включая общие трудности чтения, синтаксическую и семантическую двусмысленность или проблемы с интеграцией текста (Rayner, 1986; McConkie et al., 1991; Blythe et al., 2006; Fan et al., 2009). Кроме того, движения глаз также отражают общий навык чтения у читателя, изменения в котором можно отслеживать на протяжении всего процесса обучения чтению (например, Huestegge et al., 2009). Изменения паттернов движения глаз в этом случае отражают развитие беглости чтения, начиная с паттернов чтения, характеризующихся значительным количеством более длительных фиксаций и коротких саккад, а также высокой долей регрессивных движений глаз на ранних этапах обучения чтению, в сторону более коротких и меньших фиксаций и более длинных саккад, отражающих увеличение беглости чтения. Подобно маленьким детям, плохо читающие и читающие с дислексией в любом возрасте демонстрируют более длительную фиксацию, более короткие саккады и большую регрессию по сравнению с контрольной выборкой (Ashby et al., 2005; Chace et al., 2005). Так, айтрекинг является полезным инструментом для оценки беглости чтения как во время развития, так и у читателей с дефицитом чтения.

Отслеживание взгляда в понимании разговорной речи

Отслеживание взгляда оказалось полезным для изучения понимания и воспроизведения языка при использовании парадигмы “визуальный мир” (обзор см. в Huettig et al., 2011). В типичном эксперименте с применением парадигмы “визуальный мир” участник видит изображение или набор изображений, о которых говорит диктор. В процессе прослушивания текста записываются глазодвигательные данные (Cooper, 1974; Altmann, Kamide, 1999). Протокол данной парадигмы включает в себя конкретную задачу, связанную с изображением: например, найти и нажать на конкретный объект, представленный на экране компьютера (Tanenhaus et al., 1995; Eberhard et al., 1995; Allopenna et al., 1998). Результаты первых исследований с использованием парадигмы “визуальный мир” показали, что движения глаз тесно связаны по времени с процессом понимания предложений, поскольку слушатели склонны фиксировать называемых референтов во время доступа к соответствующему слову, даже в отсутствии конкретной задачи, связанной с изображением. Эти и подобные результаты отражают влияние визуальной нелингвистической информации на понимание предложений в процессе интерактивной обработки, конечной целью которой является облегчение понимания (например, Tanenhaus, Trueswell, 2006).

Начиная с основополагающих работ (Cooper, 1974, Eberhard et al., 1995 и Tanenhaus et al., 1996), парадигма “визуальный мир” широко использовалась в психолингвистике для решения различных вопросов, связанных с тем, как лингвистическая и визуальная обработка взаимодействуют во время понимания и порождения предложений. Глазодвигательное поведение предоставляет подробные доказательства вклада как визуального контекста, так и лингвистических/общих знаний в понимание языка. Во многих исследованиях использовались задачи на разрешение двусмысленности, чтобы осветить этапы и особенности процесса понимания предложений. Например, Пиа Кнёферле (Knoeferle et al., 2005) показывала участникам изображения событий за 1000 мс до и во время понимания услышанного предложения. Результаты показали, что изображения способствовали разрешению локальной структурной неоднозначности в немецких предложениях субъект-глагол-объект (SVO) по сравнению с предложениями объект-глагол-субъект (OVS). В другом исследовании (Knoeferle, Crocker, 2005) измерялась постепенная интеграция событий-изображений в процессе понимания предложений. Результаты указывают на аналогичные эффекты возрастающей конгруэнтности: участники продемонстрировали более длительную фиксацию на референте в целевом предложении, когда в изображении-прайме использовался другой референт.

В других исследованиях рассматривалась фонологическая и орфографическая обработка во время понимания устной речи. Участникам демонстрировались изображения фонологически/орфографически сходных объектов или слова вместо изображений, или в комбинации (Huettig, McQueen, 2007; Weber et al., 2007). Например, Вебер и соавт. (Weber et al., 2007) исследовали распознавание устной речи на испанском языке: носителей испанского языка просили нажимать на картинки объектов, когда они слушали их название. Когда участникам было предложено нажать на изображение двери (“пуэрта”), они реагировали медленнее после изображения-прайма свиньи (“пуэрко”) из-за фонологического сходства между названиями цели и прайма. Аналогичное влияние наблюдалось, когда участникам предъявлялись напечатанные названия объектов или комбинации изображений с их названиями, напечатанными под ними. Это и аналогичные исследования демонстрируют, что паттерны взгляда участников модулируются в ответ на визуальные стимулы в парадигме “визуальный мир”, что может быть хорошим показателем не только обработки языка при чтении, но и при понимании устной речи.

Отслеживание взгляда при порождении речи

Хотя исследования понимания предложений доминируют в парадигме “визуальный мир”, последняя также использовалась для изучения порождения предложений. В версии протокола “визуальный мир” на порождение предложений участников просят описывать изображения, представленные на экране компьютера, в то время как движения глаз отслеживаются и записываются. Как и в случае с исследованиями понимания предложений, типичный вывод заключается в том, что движения глаз говорящего тесно связаны с процессом генерации предложения. Фиксация референтов, которых говорящий собирается назвать, немного предшествует произнесению соответствующего слова (Meyer, et al., 1998; Griffin, 2001; Griffin, Bock, 2000; Bock et al., 2003; Griffin, Weinstein-Tull, 2003). Эти результаты указывают на движение от концептуализации к извлечению леммы, и к открытой артикуляции в процессе построения предложений.

Например, в серии экспериментов (Meyer et al., 1998) исследовалось наличие связи между произносимой речью и движениями глаз. В частности, исследователи проанализировали порядок, в котором назывались представленные пары объектов, для определения как свойства объекта (такие как трудность распознавания) отражаются на временных параметрах движений глаз. Результаты показали, что участники сначала фиксировались на объектах, которые они назвали первыми. Это было связано с расположением объектов (объекты были разделены промежутком в 10–12 градусов), что заставляло участников фиксироваться на объектах, чтобы узнавать их. Движения глаз, судя по результатам экспериментов, предшествуют речи: участники смотрели на левый объект около 500 мс, затем переводили взгляд на правый объект, и только после этого называли левый объект. Сложность изображения, а также частотность названия объекта также выступали независимыми переменными в том же исследовании. Удалив 50% контуров (усложнение изображения), исследователи значительно замедлили реакцию участников. Глазодвигательные данные показали, что говорящим приходилось прилагать больше усилий для зрительно-понятийной обработки объектов, о чем свидетельствовало среднее увеличение длительности фиксации на 15 мс. Что касается частотных эффектов, для объектов с высокочастотными именами были зарегистрированы более короткие задержки при наименовании и, что более важно, значительно более короткие (на примерно 35 мс) фиксации.

Еще одна важная методика, используемая в исследованиях порождения речи с отслеживанием взгляда – это оценка задержки между фиксацией взгляда на объекте и его наименования (eye-voice span analysis (EVS)). Эта методика восходит к ранним работам Busswell (1920) и Fairbanks (1937) и до сих пор является актуальной при изучении процессов порождения речи. Например, при чтении вслух движения глаз предшествуют артикуляции. В исследовании Лилы Глейтман и соавт. (Gleitman et al., 2007) участники описывали статичные изображения переходных событий между одушевленными референтами после того, как их внимание манипулировалось с помощью имплицитных маркеров. Маркер (черный квадрат, предъявляемый на 60–80 мс) появлялся на экране перед картинками на месте одного из предъявляемых впоследствии референтов. Общий вывод этой работы заключается в том, что имплицитное манипулирование вниманием оказывает прямое влияние на порядок слов, который выбирает говорящий. Глазодвигательные данные были собраны, а затем проанализированы с помощью анализа высказываний и направления взора, анализа фиксации и анализа EVS. Анализ первых фиксаций показал, что манипулирование вниманием с помощью имплицитных маркеров влияет на ранние движения глаз. Так, говорящие чаще сначала смотрели на маркированного референта. Анализ высказываний и направления взора оценивал действительно ли манипуляция вниманием повлияла на порядок слов. Исследователи сравнили выбор порядка слов в предложениях, где маркер привел к смещению взгляда, с теми, где этого не произошло. Анализ показал, что первоначальное маркирование внимания на одном из референтов влияет на порядок упоминания данного референта в предложении. Анализ EVS показал, что в соответствии с предыдущими исследованиями (например, Griffin, Bock, 2000) люди склонны фиксировать объект или, в данном случае, референта, которого они собираются назвать. В частности, анализ динамики положения глаз по времени показал, что фиксация на референте в течение первых 200 мс после появления изображения надежно предсказывала склонность говорящего назвать данного референта первым. Вместе эти и подобные исследования показывают, как глазодвигательные данные могут стать полезным источником информации о процессах порождения речи.

Айтрекинг в изучении языков и исследованиях двуязычия

Метод отслеживания глаз также использовался в исследованиях научения новой лексике как в родном (L1), так и во втором (L2) языках (свежий обзор Conklin, Pellicer-Sánchez, 2016). Изучение новых слов – это процесс, происходящий на протяжении всей жизни человека, не только в период развития, но и во взрослом возрасте. Типичным примером процесса является изучение новых слов и структур иностранного языка. Однако, изучение слов родного языка также никогда не прекращается, поскольку значительная часть новой лексики приобретается во взрослом возрасте посредством чтения и случайным образом (Bolger et al., 2008; Reichle, Perfetti, 2003). Существующие исследования, анализирующие движения глаз читателя как следствие повторного знакомства с новыми письменными словоформами через контекст предложения, показывают, как новые слова интегрируются в орфографический словарь L1 (Chaffin et al., 2001; Joseph et al., 2014; Li et al., 2019; Lowell, Morris, 2014; Godfroid et al., 2013; Wochna, Juhasz, 2013; Godfroid et al., 2018). Например, Лоуэлл и Моррис (2014) наблюдали за движениями глаз взрослых, когда они читали предложения, содержащие новые слова. Во-первых, воздействие новых слов ускорило соответствующее время чтения, при этом кодирование более длинных слов занимало больше времени, чем коротких. Во-вторых, читатели дольше смотрели на новые слова, а также совершали больше регрессивных саккад к ним, указывая на то, что читатели использовали контекстную информацию из текста, чтобы угадать возможные значения новых слов (Chaffin et al., 2001). Существующие данные также показывают, что изучение орфографии L1 происходит с впечатляющей скоростью, и требуется всего несколько повторений, чтобы закрепить значение нового слова в существующем лексиконе. Например, китайские участники исследования Ли и соавт. (Li et al., 2019) показали значительное снижение длительности фиксации и частоту регрессивных саккад к новым псевдоперсонажам всего лишь после пяти повторений, при этом движения глаз отражали процесс научения, начиная уже со второго повторения.

Наконец, отслеживание взгляда применялось для изучения параллельной языковой активации у говорящих на двух языках как в визуальной (например, Altarriba et al., 1996; Libben, Titone, 2009), так и в разговорной модальностях (например, Chambers, Cooke, 2009; Ju, Люс, 2004; Marian et al., 2003). Исследователи обнаружили, что на эффективность двуязычия влияет наличие межъязыковых конкурентов (стимулы на неактивном языке, которые имеют те же орфографические или фонологические свойства, что и предъявленные стимулы в данный момент), что отражается на параметрах движения глаз (регрессия или фиксация на нерелевантных конкурентах, саккады, общее время чтения), демонстрируя тем самым параллельную активацию обоих языков в билингвальном сознании.

Кроме того, растет интерес к психолингвистическим исследованиям нейронных механизмов, лежащих в основе научения орфографической обработке и беглому чтению на втором языке. Доля населения, говорящего на двух языках, продолжает расти, поскольку все больше и больше людей учатся говорить и читать на двух или даже большем количестве языков. Это часто подразумевает изучение нового алфавита, грамматики и лексики Классические глазодвигательные метрики, такие как фиксации и саккады, дают представление об этом процессе и помогают понять когнитивные механизмы, лежащие в основе овладения L2. В частности, взаимодействие между языковыми кодами L1 и L2. В нескольких исследованиях анализировались последовательности движений глаз как индикаторы приобретения навыка чтения на L2, показывающие прогрессивное уменьшение количества и продолжительности фиксаций, а также саккадических движений и регрессий в зависимости от навыков чтения на L2 (Balling, 2013; Cop et al., 2015; Elgort et al., 2018; Godfroid et al., 2018; Godfroid et al., 2013; Koval, 2019; Marian, Spivey, 2003; Marian et al., 2003; Mohamed, 2018; Pellicer-Sanchez, 2016). Подобно описанным выше исследованиям L1, эти изменения происходят очень быстро, что позволяет предположить, что скорость, с которой новые слова включаются в существующий лексикон, одинакова для L1 и L2. Например, недавнее исследование Элгорта и соавт. (Elgort et al., 2018) сообщило об изменениях в характере движений глаз в группе носителей нидерландского языка, после неоднократного воздействия новых слов в L2 (английском языке), встроенных в предложения. После очень непродолжительного воздействия (восемь повторений) скорость обработки низкочастотных английских слов стало совпадать с обработкой высокочастотных слов L2 (используемых в качестве контрольных стимулов) по длительности фиксации, продолжительности взгляда и количеству регрессивных саккад.

СОВМЕСТНАЯ РЕГИСТРАЦИЯ ДВИЖЕНИЙ ГЛАЗ И ПОТЕНЦИАЛОВ СВЯЗАННЫХ С СОБЫТИЕМ

Несмотря на многочисленные преимущества методики айтрекинг, сами по себе движения глаз не дают прямого представления о лежащих в основе процессов нейронных механизмах. Во многих исследованиях используется электроэнцефалография (ЭЭГ) для изучения нейрокогнитивных механизмов языка. ЭЭГ оказалась особенно подходящей для изучения процессов лингвистической обработки, обеспечивая чрезвычайно точную регистрацию порядка и хронометрии мозговых процессов, связанных с использованием языка. Кроме того, этот метод относительно удобен и недорог по сравнению с другими методами нейровизуализации. Существующая литература по ЭЭГ предоставляет достаточно данных, документирующих электрофизиологические потенциалы, или ERP, отражающие различные лингвистические процессы (например, Bentin et al., 1999; Coulson, 2007; Kutas et al., 2006), начиная с быстрой активации, равной 50 мс после предъявления слова (MacGrego et al., 2012; Shtyrov, Lenzen, 2017), к компонентам, отражающим лексико-семантический доступ, таким как N400, и, наконец, к процессам структурной интеграции и повторного анализа, отраженным в P600 (см. Kutas, Federmeier, 2011 и Friederici, Weissenborn, 2007 для обзоров соответствующих компонентов). Таким образом, сочетание отслеживания глаз с анализом потенциалов, связанных с событиями, может предоставить уникальный инструмент, который позволяет совместно регистрировать движения глаз и электрофизиологическую активность, а также предлагает единую и чрезвычайно точную технику, связанную с высоким пространственным и временным разрешением (Sereno et al., 1998; Sereno, Rayner, 2003).

Параллельная регистрация движений глаз и электроэнцефалографической активности позволяет синхронизировать анализ глазодвигательного поведения, отражающего восприятие зрительной информации, с анализом реакций мозга, связанных с анализом этой информации, и все это с одинаково высоким временным разрешением. Полученная в результате идентификация так называемых потенциалов мозга, связанных с фиксацией (eye-fixation related potentials (EFRPs)) компонентов ЭЭГ, привязанных во времени к глазодвигательному событию (например, фиксация или начало саккады) — предоставляет информацию о взаимодействии между получением информации (движениями глаз) и информацией о еe непосредственной обработке (ERP). Однако, в отличие от ERP, EFRP позволяют связать потенциалы ERP с конкретным когнитивным процессом, индексируемым по глазодвигательным данным (Hutzler et al., 2007).

Первоначально парадигма, используемая в психолингвистике для получения показателей параллельной регистрации, представляла собой пословное предъявление, поскольку это стандартная процедура, выполняемая в исследованиях ERP, посвященных чтению (см. Kutas et al., 2006; Kutas, Federmeier, 2011). Во многих ранних исследованиях с использованием подхода EFRP слова предъявлялись в центре экрана, а сбор ERP был привязан по времени к целевым фиксациям (например, к определенному слову). Этот подход предоставил ранние доказательства связи между глазодвигательными и ERP данными, особенно в отношении эффектов парафовео-на-фовеа, то есть показал влияние лексической или семантической информации от парафовеально представленных слов на метрики, полученные при чтении фиксированного слова (Baccino, Manunta, 2005; Simola et al., 2009; Lopes-Perez et al., 2016).

Использование вышеописанной парадигмы позволило частично решить одну из основных проблем совместной регистрации движений глаз и ERP; а именно, выявление и удаление глазодвигательных артефактов (Picton, 2000; Berg, Scherg, 1991). Однако при пословном предъявлении отсутствует параллельная обработка парафовеальной информации, которая осуществляется при естественном чтении, что потенциально препятствует доступу к важной информации о последовательной глазодвигательной активности, осуществляемой в контексте естественного чтения (когда читатель делает регрессивные движения к ранее представленным словам, извлекает информацию из еще не зафиксированных слов, представленных в парафовеальном поле зрения, или делает более короткие или длинные саккады при пропуске слов в предложении). Для решения этой проблемы недавно были разработаны различные алгоритмы, направленные на коррекцию глазодвигательных артефактов в сигнале ЭЭГ, вызванных как морганием, так и саккадическими движениями (Ille et al., 2002; Croft, Barry, 2000; Delorme et al., 2007). Таким образом, обеспечивая эффективную совместную регистрацию и извлечение интерпретируемых эффектов EFRP в более естественной задаче чтения (Henderson et al., 2013; Dimigen et al., 2011; Dimigen et al., 2012; Takeda et al., 2001; Kretzschmar et al., 2009; Kretzschmar et al., 2015; Li et al., 2015). Подобные подходы недавно применялись в других областях когнитивных наук при изучении внимания (Fischer et al., 2013), памяти (Nikolaev et al., 2013, 2011) или эмоций (Simola et al., 2015, 2011).

В лингвистических исследованиях участники обычно читают целые предложения или абзацы текста. Например, некоторые недавние исследования с использованием параллельной регистрации предоставляют важные детали о времени изменения сигнала, связанного с когнитивными процессами чтения (Hutzler et al., 2013; Dimigen et al., 2011). Одно из таких исследований показало, что, например, эффекты предсказуемости слов при естественном чтении влияют на семантически связанный компонент N400. Так, при наличии в парафовеальной области семантически не связанных слов наблюдалась более высокая амплитуда N400 (Kretzschmar et al., 2009). Кроме того, в более ранних компонентах ERP, таких как N100, недавно были зарегистрированы эффекты влияния парафовеального предъявления (parafoveal-on-fovea), что, вероятно, отражает облегчение обработки словесных признаков нижнего уровня (Dimigen et al., 2012; Li et al., 2015).

Помимо использования EFRP, новый подход к совместной регистрации электрофизиологической и глазодвигательной активности мозга заключается в том, чтобы синхронизировать нейронные осцилляции, а не ERP, с движениями глаз, таким образом получая связанную с фиксацией осцилляционную меру. Осцилляционная динамика мозга, связанная с изменениями ритмической частоты возбудимости коры в различных временных и пространственных масштабах, считается информативной для моделей связи между различными областями мозга во время широкого спектра когнитивных процессов (Siegel et al., 2012; Singer, 2011; von Stein et al., 2000; Bressler, Richter, 2015). Осцилляции в бета- и гамма-диапазонах частот особенно важны для нашего понимания языковых процессов (Lewis et al., 2015; Bastiaansen, Hagoort, 2006). Некоторые недавние исследования, в которых использовалась совместная регистрация движений глаз и потенциалов головного мозга, дают важные сведения о семантической и синтаксической обработке онлайн (Metzner et al., 2015; Vignali et al., 2016; Kornrumpfet al., 2017). Например, Виньяли с коллегами (2016) определили осцилляционную динамику мозга, связанную с пониманием предложений в режиме онлайн, с десинхронизацией нижнего бета-диапазона (13–18 Гц) во время обнаружения семантических ошибок и увеличением гаммы (31–55 Гц) и тета (4–7 Гц) при разборе синтаксически правильных предложений, но не тогда, когда порядок слов был рандомизирован и затем вызвал синтаксическое нарушение.

В целом, совместная регистрация движений глаз и потенциалов головного мозга (обратите внимание, что та же логика в значительной степени относится к магнитоэнцефалографии, МЭГ), особенно в условиях свободного просмотра, дает новую фундаментальную информацию о нейрофизиологических основах обработки естественного чтения, выходящую за рамки традиционной словесной обработки и пословных исследований ERP. Несмотря на то, что ранее параллельная регистрация вызывала трудности из-за сложности в комбинировании айтрекеров и усилителей, сегодня сочетание этих методов открыло многообещающее направление исследований в области когнитивных и нейронаук, предоставляя чрезвычайно ценную информацию о поведенческих и нейронных коррелятах различных когнитивных процессов, с высокой экологической достоверностью и очень низкими затратами на ее реализацию.

ЗАКЛЮЧЕНИЕ

В настоящей статье представлен краткий обзор методики айтрекинг, описаны ее сильные и слабые стороны, приведены примеры психолингвистических и нейролингвистических исследований, а также приведены примеры исследований с применением айтрекинга и ERP с целью показать, что параллельная регистрация позволяет избежать ограничений айтрекинга как методики и получать более детальные и всеобъемлющие данные.

На данный момент в русскоязычной литературе нами было найдено 262 статьи по запросу “айтрекинг и ЭЭГ” в google scholar. Подробное изучение результатов показало, что научных статей, в которых описывается применение параллельной регистрации глазодвигательной активности и ЭЭГ предельно мало: существуют работы исследователей из МГУ (например, Анисимов и соавт., 2019a, 2019b; Серов и соавт. (2019)) в которых описывается применение ЭЭГ и айтрекинга в нейромаркетинге. В остальном поиск показал практически полное отсутствие таких работ в России в том числе и в психолингвистике. Нашим обзором мы хотели привлечь внимание российского научного сообщества к методу айтрекинга отдельно, и к методу параллельной регистрации ERP и глазовдигательной активности. Мы надеемся, что наш обзор будет полезен как молодым ученым и специалистам, так и более опытным коллегам.

Список литературы

  1. Анисимов В.Н., Ковалева А.В., Бойко Л.А., Шеденко К.Ю., Галкина Н.В., Латанов А.В. ЭЭГ, вегетативные и глазодвигательные показатели интереса потребителя на примере экскурсионных туров. Вестник психофизиологии. 2019a. 1: 45–54.

  2. Анисимов В.Н., Зинченко Е.М., Бойко Л.А., Кушнир А.Б., Латанов А.В., Галкина Н.В. Методы оценки коммерческих текстов: нейромаркетинговый подход. Практический маркетинг. 2019b. 3(265): 3–14.

  3. Серов И.Е., Ковалева А.В., Казьмина В.Г., Галкина Н.В. Прогнозирование вероятности запоминания логотипов неизвестных брендов по объективным электрофизиологическим показателям. Практический маркетинг. 2019. 5(267): 3–10.

  4. Ярбус А.Л. Роль движений глаз в процессе зрения. М.: “Наука”. 1965.

  5. Allopenna P.D., Magnuson J.S., Tanenhaus M.K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of memory and language. (1998). 38(4): 419–439.

  6. Altarriba J., Kroll J.F., Sholl A., Rayner K. The influence of lexical and conceptual constraints on reading mixed-language sentences: Evidence from eye fixations and naming times. Memory & cognition. 1996. 24(4): 477–492.

  7. Altmann G.T., Kamide Y. Incremental interpretation at verbs: Restricting the domain of subsequent reference. Cognition. 1999. 73(3)d and average readers: Differential effects of frequency and predictability. The Quarterly Journal of Experimental Psychology Section A. 2005. 58(6): 247–264.

  8. Baccino T., Manunta Y. Eye-fixation-related potentials: Insight into parafoveal processing. Journal of Psychophysiology. 2005. 19(3): 204–215.

  9. Balling L.W. Does Good Writing Mean Good Reading?: An Eye-Tracking Investigation of the Effect of Writing Advice on Reading. Fachsprache: International Journal of Specialized Communication. 2013. 35(1–2): 2–23.

  10. Bastiaansen M., Hagoort P. Oscillatory neuronal dynamics during language comprehension. Progress in brain research. 2006. 159: 179–196.

  11. Bentin S., Mouchetant-Rostaing Y., Giard M.H., Echallier J.F., Pernier J. ERP manifestations of processing printed words at different psycholinguistic levels: time course and scalp distribution. Journal of Cognitive Neuroscience. 1999. 11(3): 235–260.

  12. Berg P., Scherg M. Dipole modelling of eye activity and its application to the removal of eye artefacts from the EEG and MEG. Clinical Physics and Physiological Measurement. 1991. 12A (49).

  13. Blythe H.I., Liversedge S.P., Joseph H.S., White S.J., Findlay J.M., Rayner K. The binocular coordination of eye movements during reading in children and adults. Vision Research. 2006. 46(22): 3898-3908.

  14. Bock K., Irwin D.E., Davidson D.J., Levelt W.J. Minding the clock. Journal of Memory and Language. 2003. 48(4): 653–685.

  15. Bolger D.J., Balass M., Landen E., Perfetti C.A. Context variation and definitions in learning the meanings of words: An instance-based learning approach. Discourse processes. 2008. 45(2): 122–159.

  16. Bressler S.L., Richter C.G. Interareal oscillatory synchronization in top-down neocortical processing. Current opinion in neurobiology. 2015. 31: 62–66.

  17. Brysbaert M., Drieghe D., Vitu F. Cognitive processes in eye guidance. 2005.

  18. Buswell G.T. An experimental study of the eye-voice span in reading (No. 17). University of Chicago. 1920.

  19. Chace K.H., Rayner K., Well A.D. Eye movements and phonological parafoveal preview: effects of reading skill. Canadian Journal of Experimental Psychology/Revue canadienne de psychologie expérimentale. 2005. 59(3): 209.

  20. Chaffin R., Morris R.K., Seely R.E. Learning new word meanings from context: A study of eye movements. Journal of Experimental Psychology: Learning, Memory, and Cognition. 2001. 27(1): 225.

  21. Chambers C.G., Cooke H. Lexical competition during second-language listening: Sentence context, but not proficiency, constrains interference from the native lexicon. Journal of Experimental Psychology: Learning, Memory, and Cognition. 2009. 35(4): 1029.

  22. Clifton Jr.C., Ferreira F., Henderson J.M., Inhoff A.W., Liversedge S.P., Reichle E.D., Schotter E.R. Eye movements in reading and information processing: Keith Rayner’s 40 year legacy. Journal of Memory and Language. 2016. 86: 1–19.

  23. Clifton Jr.C., Staub A., Clifton C. Syntactic influences on eye movements during reading. Eye. (2011). 3(2).

  24. Cop U., Keuleers E., Drieghe D., Duyck W. Frequency effects in monolingual and bilingual natural reading. Psychonomic bulletin & review. 2015. 22(5): 1216–1234.

  25. Cooper R.M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 1974.

  26. Conklin K., Pellicer-Sánchez A. Using eye-tracking in applied linguistics and second language research. Second Language Research. 2016. 32(3): 453–467.

  27. Conklin K., Pellicer-Sánchez A., Carrol G. Eye-tracking: A guide for applied linguistics research. Cambridge University Press. 2018.

  28. Coulson S. Electrifying results: ERP data and cognitive linguistics. Methods in cognitive linguistics. 2007. 18.

  29. Croft R.J., Barry R.J. Removal of ocular artifact from the EEG: a review. Neurophysiologie Clinique/Clinical Neurophysiology. 2000. 30(1): 5–19.

  30. Delorme A., Sejnowski T., Makeig S. Enhanced detection of artifacts in EEG data using higher-order statistics and independent component analysis. Neuroimage. 2007. 34(4): 1443–1449.

  31. Dimigen O., Kliegl R., Sommer W. Trans-saccadic parafoveal preview benefits in fluent reading: A study with fixation-related brain potentials. NeuroImage. 2012. 62: 381–393.

  32. Dimigen O., Sommer W., Hohlfeld A., Jacobs A.M., Kliegl R. Coregistration of eye movements and EEG in natural reading: Analyses and review. Journal of Experimental Psychology–General. 2011. 140: 552–572.

  33. Duchowski A.T. Diversity and types of eye tracking applications. In Eye Tracking Methodology. 2017. 247–248.

  34. Eberhard K.M., Spivey-Knowlton M.J., Sedivy J.C., Tanenhaus M.K. Eye movements as a window into real-time spoken language comprehension in natural contexts. Journal of psycholinguistic research. 1995. 24(6): 409–436.

  35. Ehrlich K., Rayner K. Pronoun assignment and semantic integration during reading: Eye movements and immediacy of processing. Journal of verbal learning and verbal behavior. 1983. 22(1): 75–87.

  36. Elgort I., Brysbaert M., Stevens M., Van Assche E. Contextual word learning during reading in a second language: An eye-movement study. Studies in Second Language Acquisition. 2018. 40(2): 341–366.

  37. Fairbanks G. The relation between eye-movements and voice in the oral reading of good and poor silent readers. Psychological Monographs. 1937. 48(3): 78.

  38. Feng G., Miller K., Shu H., Zhang H. Orthography and the development of reading processes: An eye-movement study of Chinese and English. Child development. 2009. 80(3): 720–735.

  39. Fischer T., Graupner S.T., Velichkovsky B.M., Pannasch S. Attentional dynamics during free picture viewing: evidence from oculomotor behavior and electrocortical activity. Frontiers in systems neuroscience. 2013. 7: 17.

  40. Friederici A.D., Weissenborn J. Mapping sentence form onto meaning: The syntax– semantic interface. Brain research. 2007. 1146: 50–58.

  41. Gleitman L.R., January D., Nappa R., Trueswell J.C. On the give and take between event apprehension and utterance formulation. Journal of memory and language. 2007. 57(4): 544–569.

  42. Griffin Z.M. Gaze durations during speech reflect word selection and phonological encoding. Cognition. 2001. 82(1), B1–B14.

  43. Griffin Z.M., Bock K. What the eyes say about speaking. Psychological science. 2000. 11(4): 274–279.

  44. Griffin Z.M., Weinstein-Tull J. Conceptual structure modulates structural priming in the production of complex sentences. Journal of Memory and Language. 2003. 49(4): 537–555.

  45. Godfroid A., Boers F., Housen A. An eye for words: Gauging the role of attention in incidental L2 vocabulary acquisition by means of eye-tracking. Studies in Second Language Acquisition. 2013. 35(3): 483–517.

  46. Godfroid A., Ahn J., Choi I., Ballard L., Cui Y., Johnston S., Yoon H.J. Incidental vocabulary learning in a natural reading context: an eye-tracking study. Bilingualism: Language and Cognition. 2018. 21(3): 563–584.

  47. Henderson J.M., Luke S.G., Schmidt J., Richards J.E. Co-registration of eye movements and event-related potentials in connected-text paragraph reading. Frontiers in systems neuroscience. 2013. 7: 28.

  48. Himmelstoss N.A., Schuster S., Hutzler F., Moran R., Hawelka S. Co-registration of eye movements and neuroimaging for studying contextual predictions in natural reading. Language, Cognition and Neuroscience. 2019. 1–18.

  49. Holmqvist K., Nyström M., Andersson R., Dewhurst R., Jarodzka H., Van de Weijer J. Eye tracking: A comprehensive guide to methods and measures. OUP Oxford. 2011.

  50. Huestegge L., Radach R., Corbic D., Huestegge S.M. Oculomotor and linguistic determinants of reading development: A longitudinal study. Vision research. 2009. 49(24): 2948–2959.

  51. Huey E.B. The psychology and pedagogy of reading. The Macmillan Company. 1908.

  52. Huettig F., McQueen J.M. The tug of war between phonological, semantic and shape information in language-mediated visual search. Journal of Memory and Language. 2007. 57(4): 460- 482.

  53. Huettig F., Rommers J., Meyer A.S. Using the visual world paradigm to study language processing: A review and critical evaluation. Acta psychologica. 2011. 137(2), 151–171.

  54. Hutzler F., Braun M., Võ M.L.H., Engl V., Hofmann M., Dambacher M., et al. Welcome to the real world: validating fixation-related brain potentials for ecologically valid settings. Brain Res. 2007. 1172: 124–129.

  55. Ille N., Berg P., Scherg M. Artifact correction of the ongoing EEG using spatial filters based on artifact and brain signal topographies. Journal of clinical neurophysiology. 2002. 82: 242–253.

  56. Javal E. Essai sur la physiologie de la lecture. Annaels d’o- culistique. 1879. 82: 242–253.

  57. Joseph H.S., Wonnacott E., Forbes P., Nation K. Becoming a written word: Eye movements reveal order of acquisition effects following incidental exposure to new words during silent reading. Cognition. 2014. 133(1): 238–248.

  58. Ju M., Luce P.A. Falling on sensitive ears: Constraints on bilingual lexical activation. Psychological Science. 2004. 15(5), 314–318.

  59. Juhasz B.J., White S.J., Liversedge S.P., Rayner K. Eye movements and the use of parafoveal word length information in reading. Journal of Experimental Psychology: Human Perception and Performance. 2008. Toм 34(6): 1560.

  60. Just M.A., Carpenter P.A. A theory of reading: From eye fixations to comprehension. Psychological review. 1980. 87(4): 329.

  61. Kennedy A. Parafoveal processing in word recognition. The Quarterly Journal of Experimental Psychology Section A. 2000. 53(2): 429–455.

  62. Knoeferle P., Crocker M.W., Scheepers C., Pickering M.J. The influence of the immediate visual context on incremental thematic role-assignment: Evidence from eye- movements in depicted events. Cognition. 2005. 95(1): 95–127.

  63. Knoeferle P., Crocker M.W. Incremental effects of mismatch during picture- sentence integration: Evidence from eye-tracking. In Proceedings of the 26th annual conference of the cognitive science society. 2005. pp. 1166–1171.

  64. Koval N.G. Testing the deficient processing account of the spacing effect in second language vocabulary learning: Evidence from eye tracking. Applied Psycholinguistics. 2019. 40(5): 1103–1139.

  65. Kornrumpf B., Dimigen O., Sommer W. Lateralization of posterior alpha EEG reflects the distribution of spatial attention during saccadic reading. Psychophysiologyю. 2017. 54(6): 809–823.

  66. Kretzschmar F., Bornkessel-Schlesewsky I., Schlesewsky M. Parafoveal versus foveal N400s dissociate spreading activation from contextual fit. NeuroReport. 2009. 20: 1613–1618.

  67. Kretzschmar F., Schlesewsky M., Staub A. Dissociating word frequency and predictability effects in reading: Evidence from coregistration of eye movements and EEG. Journal of Experimental Psychology: Learning, Memory, and Cognition. 2015. 41(6): 1648.

  68. Kutas M., Federmeier K.D. Thirty years and counting: finding meaning in the N400 component of the event-related brain potential (ERP). Annual review of psychology. 2011. 62: 621–647.

  69. Kutas M., Van Petten C.K., Kluender R. Psycholinguistics electrified II (1994–2005). In Handbook of psycholinguistics. Academic Press. 2006. pp. 659–724.

  70. Laeng B., Sirois S., Gredebäck G. Pupillometry: A window to the preconscious? Perspectives on psychological science. 2012. 7(1): 18–27.

  71. Lewis A.G., Wang L., Bastiaansen M. Fast oscillatory dynamics during language comprehension: Unification versus maintenance and prediction?. Brain and language. 148: 51–63.

  72. Li N., Niefind F., Wang S., Sommer W., Dimigen O. Parafoveal processing in reading Chinese sentences: Evidence from event-related brain potentials. Psychophysiology. 2015. 52(10): 1361–1374.

  73. Li L., Marinus E., Castles A., Yu L., Wang H.C. Eye-tracking the effect of semantic decoding on orthographic learning in Chinese. 2019.

  74. Libben M.R., Titone D.A. Bilingual lexical access in context: evidence from eye movements during reading. Journal of Experimental Psychology: Learning, Memory, and Cognition. 2009. 35(2): 381.

  75. López-Peréz P.J., Dampuré J., Hernández-Cabrera J.A., Barber H.A. Semantic parafoveal-on-foveal effects and preview benefits in reading: Evidence from Fixation Related Potentials. Brain and language. 2016. 162: 29–34.

  76. Lowell R., Morris R.K. Word length effects on novel words: Evidence from eye movements. Attention, Perception, & Psychophysics. 2014. 76(1): 179–189.

  77. MacGregor L.J., Pulvermüller F., Van Casteren M., Shtyrov Y. Ultra-rapid access to words in the brain. Nature Communications. 2012. 3: 711.

  78. Marian V., Spivey M. Competing activation in bilingual language processing: Within-and between-language competition. Bilingualism: Language and Cognition. 2003. 6(2): 97–115.

  79. Marian V., Spivey M., Hirsch J. Shared and separate systems in bilingual language processing: Converging evidence from eyetracking and brain imaging. Brain and language. 2003. 86(1): 70–82.

  80. Mathôt S. Pupillometry: Psychology, physiology, and function. Journal of Cognition. 2018. 1(1).

  81. McConkie G.W., Zola D., Grimes J., Kerr P.W., Bryant N.R., Wolff P.M. Children’s eye movements during reading. Vision and visual dyslexia. 1991. 13: 251–262.

  82. Meyer A.S., Sleiderink A.M., Levelt W.J. (Viewing and naming objects: Eye movements during noun phrase production. Cognition.1998. 66(2): B25–B33.

  83. Metzner P., von der Malsburg T., Vasishth S., Rösler F. Brain responses to world knowledge violations: A comparison of stimulus-and fixation-triggered event-related potentials and neural oscillations. Journal of Cognitive Neuroscience. 2015. 27(5): 1017–1028.

  84. Miles W.R. Ocular dominance in human adults. The journal of general psychology. 1930. 3(3): 412–430.

  85. Mohamed A.A. Exposure frequency in L2 reading: An eye-movement perspective of incidental vocabulary learning. Studies in Second Language Acquisition. 2018. Toм 40(2): 269–293.

  86. Nikolaev A.R., Jurica P., Nakatani C., Plomp G., van Leeuwen C. Visual encoding and fixation target selection in free viewing: presaccadic brain potentials. Front Syst Neurosci. 2013. 7: 26.

  87. Nikolaev A.R., Meghanathan R.N., van Leeuwen C. Combining EEG and eye movement recording in free viewing: Pitfalls and possibilities. Brain and cognition. 2016. 107: 55–83.

  88. Nikolaev A.R., Nakatani C., Plomp G., Jurica P., van Leeuwen C. Eye fixation-related potentials in free viewing identify encoding failures in change detection. Neuroimage. 2011. 56: 1598–1607.

  89. Nyström M., Andersson R., Holmqvist K., Van De Weijer J. The influence of calibration method and eye physiology on eyetracking data quality. Behavior research methods. 2013. 45(1): 272–288.

  90. Pickering M.J., Frisson S., McElree B., Traxler M.J. Eye movements and semantic composition. The on-line study of sentence comprehension: Eyetracking, ERP, and beyond. 2004. 33–50.

  91. Picton T.W., van Roon P., Armilio M.L., Berg P., Ille N., Scherg M. The correction of ocular artifacts: a topographic perspective. Clinical Neurophysiology. 2000. 111(1): 53–65.

  92. Pellicer-Sánchez A. Incidental L2 vocabulary acquisition from and while reading: An eye-tracking study. Studies in Second Language Acquisition. 2016. 38(1): 97–130.

  93. Raney G.E., Campbell S.J., Bovee J.C. Using eye movements to evaluate the cognitive processes involved in text comprehension. JoVE (Journal of Visualized Experiments). 2014. 83.

  94. Rayner K. Eye movements and the perceptual span in beginning and skilled readers. Journal of experimental child psychology. 1986. 41(2): 211–236.

  95. Rayner K. Eye movements in reading and information processing: 20 years of research. Psychological bulletin. 1998. 124(3): 372.

  96. Rayner K., Duffy S.A. Lexical complexity and fixation times in reading: Effects of word frequency, verb complexity, and lexical ambiguity. Memory & cognition. 1986. 14(3): 191–201.

  97. Rayner K., Pollatsek A., Reisberg D. Basic processes in reading. The Oxford handbook of cognitive psychology. Oxford University Press, New York. 2013. 442–461.

  98. Rayner K., Sereno S.C., Raney G.E. Eye movement control in reading: a comparison of two types of models. Journal of Experimental Psychology: Human Perception and Performance. 1996. 22(5): 1188.

  99. Rayner K., Slattery T.J., Drieghe D., Liversedge S.P. Eye movements and word skipping during reading: effects of word length and predictability. Journal of Experimental Psychology: Human Perception and Performance. 2011. 37(2): 514.

  100. Reichle E.D., Perfetti C.A. Morphology in word identification: A word-experience model that accounts for morpheme frequency effects. Scientific Studies of Reading. 2003. 7(3), 219–237.

  101. Sereno S.C., Rayner K. Measuring word recognition in reading: eye movements and event-related potentials. Trends Cogn. Sci. 2003. 7: 489–493.

  102. Sereno S.C., Rayner K., and Posner M.I. Establishing a time-line of word recognition: evidence from eye movements and event-related potentials. Neuroreport. 1998. 9: 2195–2200.

  103. Shtyrov Y., Lenzen M. First-pass neocortical processing of spoken language takes only 30 msec: Electrophysiological evidence. Cognitive neuroscience. 2017. 8(1): 24–38.

  104. Siegel M., Donner T.H., Engel A.K. Spectral fingerprints of large-scale neuronal interactions. Nature Reviews Neuroscience. 2012. 13(2): 121.

  105. Simola J., Holmqvist K., Lindgren M. Right visual field advantage in parafoveal processing: Evidence from eye-fixation-related potentials. Brain and language. 2009. 111(2): 101–113.

  106. Simola J., Le Fevre K., Torniainen J., Baccino T. Affective processing in natural scene viewing: Valence and arousal interactions in eye-fixation-related potentials. NeuroImage. 2015. 106: 21–33.

  107. Simola J., Torniainen J., Moisala M., Kivikangas M., Krause C.M. Eye movement related brain responses to emotional scenes during free viewing. Frontiers in systems neuroscience. 2013. 7, 41.

  108. Singer W. Dynamic formation of functional networks by synchronization. Neuron. 2011. 69(2): 191–193.

  109. Starr M., Inhoff A. Attention allocation to the right and left of a fixated word: Use of orthographic information from multiple words during reading. European Journal of Cognitive Psychology. 2004. 16(1–2): 203–225.

  110. Staub A., Rayner K. Eye movements and on-line comprehension processes. The Oxford handbook of psycholinguistics. 2007. 327–342.

  111. Takeda Y., Sugai M., Yagi A. Eye fixation related potentials in a proof reading task. International Journal of Psychophysiology. 2001. 40(3): 181–186.

  112. Tanenhaus M.K., Trueswell J.C. Eye movements and spoken language comprehension. In Handbook of psycholinguistics. Academic Press. 2006. pp. 863–900.

  113. Tanenhaus M.K., Spivey-Knowlton M.J., Eberhard K.M., Sedivy J.C. Integration of visual and linguistic information in spoken language comprehension. Science. 1995. 268(5217), 1632–1634.

  114. Tanenhaus M.K., Spivey-Knowlton M.J., Eberhard K.M., Sedivy J.C. Using eye movements to study spoken language comprehension: Evidence for visually mediated incremental interpretation. 1996.

  115. Vignali L., Himmelstoss N.A., Hawelka S., Richlan F., Hutzler F. Oscillatory brain dynamics during sentence reading: a fixation-related spectral perturbation analysis. Frontiers in human neuroscience. 2016. 10. 191.

  116. Von Stein A., Chiang C., König P. Top-down processing mediated by interareal synchronization. Proceedings of the National Academy of Sciences. 2000. 97(26): 14748–14753.

  117. Weber A., Melinger A., Lara Tapia L. The mapping of phonetic information to lexical presentations in Spanish: evidence from eye movements. In 16th International Congress of Phonetic Sciences (ICPhS 2007). Pirrot. 2007. pp. 1941–1944.

  118. Wochna K.L., Juhasz B.J. Context length and reading novel words: An eye- movement investigation. British Journal of Psychology. 2013. 104(3): 347–363.

  119. Yarbus A.L. Role of eye movements in the visual processes. 1965.

Дополнительные материалы отсутствуют.

Инструменты

следующая статья выпуска предыдущая статья выпуска содержание выпуска

Журнал высшей нервной деятельности им. И.П. Павлова

Архивы выпусков Информация о журнале Отправить рукопись в журнал