Вестник Военного инновационного технополиса «ЭРА», 2023, T. 4, № 1, стр. 78-84
Функционально-когнитивный подход к испытаниям технологий искусственного интеллекта в наземных робототехнических комплексах
А. В. Заяра 1, *, Е. А. Назаров 1, А. В. Зайцева 1
1 Военный инновационный технополис “ЭРА”
Анапа, Россия
* E-mail: era_otd3@mil.ru
Поступила в редакцию 10.10.2023
После доработки 10.10.2023
Принята к публикации 10.10.2023
Аннотация
Существующие подходы к организации приемочных испытаний наземных робототехнических комплексов ориентированы на тестирование рабочих характеристик роботов. Предлагается функционально-когнитивный подход к организации испытаний, в котором технология искусственного интеллекта рассматривается как комплексная способность. После декомпозиции каждая ее составляющая тестируется через практическое выполнение своей функции, а качество выполнения когнитивных аспектов этих функций рассматривается и оценивается с той точки зрения, как эти действия выполнял бы человек.
ВВЕДЕНИЕ
Внедрение в современные технические системы технологий искусственного интеллекта (ИИ), пожалуй, является одним из актуальных научных направлений, несмотря на то, что даже в понятийном аппарате еще отсутствуют четкие определения. Самое время, загадывая наперед, задуматься над тем, каким образом будут организованы испытания этих самых систем, так как испытания – важнейший инструмент контроля качества.
Процесс внедрения технологий ИИ в робототехнические устройства со страниц научно-фантастических произведений уже имеет конкретные примеры. Доставку грузов осуществляют роботы, самостоятельно выбирающие оптимальный маршрут, беспилотные такси и т.д. Руководствуясь стремлением к обеспечению качества, разработчики обязаны создать такую систему, которая в полной мере обеспечивала бы выполнение требований к производимой продукции. Объективное свидетельство, необходимое для их валидации, может быть получено только путем испытаний [1]. Под валидацией понимается подтверждение посредством проверки и предоставления объективного свидетельства того, что конкретные требования, установленные для конкретного применения, выполнены. Это определяет актуальность исследований, направленных на поиск подходов к организации испытаний именно технологий ИИ.
АНАЛИЗ СУЩЕСТВУЮЩИХ ПОДХОДОВ К ИСПЫТАНИЯМ РТК
С учетом того что роботизация охватила все технические стороны жизнедеятельности, аспекты организации испытаний робототехнических комплексов (РТК) обрели воплощение в виде нормативно-технических документов – стандартов комплекса ГОСТ Р 60, которые представляют собой совокупность отдельно издаваемых документов.
Одна из тематических групп комплекса, в которую входят 26 стандартов, имеет название “Виды и методы испытаний”. Схема, поясняющая структуру группы, представлена на рис. 1.
Виды испытаний роботов характеризуются их уровнем (государственные, межведомственные, ведомственные), этапами разработки (исследовательские, предварительные, приемочные), видами испытаний готовой продукции (квалификационные, приемо-сдаточные, периодические, типовые и др.). По их результатам принимается решение о возможности предъявления изделия на следующие этапы проверки, о постановке изделия на производство, о присвоении документации изделию и категории качества [3]. Классификация видов испытаний РТК согласно ГОСТ представлена на рис. 2.
Наибольший интерес с точки зрения оценки характеристик тестируемого комплекса представляет этап приемочных испытаний, на котором решается вопрос о целесообразности постановки роботов на производство или использования по назначению. И если методический аппарат тестирования рабочих характеристик РТК проработан детально (рис. 1), то информацию по испытаниям технологий ИИ приходится собирать по отрывочным фрагментам. При этом словосочетание “испытание технологий ИИ” не фигурирует ни в одном нормативном документе.
Внимательно анализируя содержание стандартов комплекса ГОСТ Р 60, можно найти только определения автономности и ее уровней, а также упрощенного подхода к испытаниям навигации [4, 5]. В стандарте, посвященном тестированию навигации, рассматриваются только методики по простейшим технологиям ИИ: перемещение простыми маршрутами, отработка пространственного расположения, обнаружение и обход препятствий.
Таким образом, можно сделать вывод о наличии в нормативных документах, посвященных испытаниям РТК, методического аппарата для тестирования только минимального количества самых элементарных технологий ИИ. Отметим, что какой-либо задел в теоретическом плане отсутствует. Это заключение можно распространить и на международные стандарты.
ТЕХНОЛОГИИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА И ИХ РЕАЛИЗАЦИЯ В СИСТЕМАХ УПРАВЛЕНИЯ РТК
Несмотря на то что словосочетание “технология ИИ” встречается в научно-технических публикациях достаточно давно и очень часто, конкретное понимание того, что она собой представляет, сформировалось относительно недавно. Методические материалы 46 Центрального научно-исследовательского института Минобороны России [6] представляют следующее определение.
Технология ИИ – технология, основанная на математических, алгоритмических, программных и аппаратных решениях, обеспечивающих в технических системах функции распознавания и синтеза информации, интеллектуальной поддержки принятия решений, прогнозирования, моделирования и др., и позволяющая получать результаты, сопоставимые или превосходящие по качеству и скорости результаты аналогичной деятельности человека.
Дефиниция, утверждающая, что “технология ИИ – это технология…”, заставляет более подробно изучить этимологию повторяющихся слов. Большой толковый словарь объясняет происхождение существительного “Технология” от греческих слов “téchnē” – искусство, мастерство и “lógos” – учение. Его смысловое толкование – совокупность методов, процессов и средств, используемых при производстве, изготовлении чего-либо.
С учетом семантического представления и анализа происхождения ключевого слова предлагается уточнить определение [6] в следующей формулировке.
Технология ИИ – комплексная способность системы ИИ, обеспечивающих в технических системах выполнение ее функций и позволяющих получать результаты, сопоставимые с результатами аналогичной деятельности человека.
Безусловно, предлагаемое определение – не такое всеобъемлющее и универсальное, но оно – простое и лаконичное. Перечисление возможностей типа “функции распознавания и синтеза информации, интеллектуальной поддержки принятия решений, прогнозирования, моделирования и др.” предлагается обобщить словосочетанием “ее функции”. Имеются в виду функции самой технической системы. А из второй части определения в соответствии с методическими материалами [6] убрать фразу про “превосходящие по качеству и скорости”.
На основе сформулированного определения становится возможным определить хотя бы примерный перечень технологий ИИ, которые реализованы в РТК гражданского назначения. Если трактовать понятие “технологии ИИ” как способность, то она должна характеризоваться какими-либо показателями. Методические материалы [6] рекомендуют среди показателей систем ИИ выделить следующие основные.
Автономность – характеристика системы, связанная с ее способностью самостоятельно (без участия человека) выполнять возложенные на нее функции в течение заданного времени и с заданными показателями.
Адаптивность – характеристика системы, связанная с ее способностью ранжирования и перераспределения функций при выполнении поставленной задачи в зависимости от изменяющейся окружающей обстановки.
Безопасность – состояние защищенности информационной технологии, при котором обеспечивается выполнение системой ИИ предписанных функций без нарушений обрабатываемой информации.
Из продолжения анализа семантического представления словосочетания “технология ИИ” логически вытекает последовательность: технология → способность → показатели → … → «целевое проявление “совокупности методов, процессов и средств”» [7].
Если в качестве отправной точки выступает понятие “технология” как способность выполнения (производства) чего-либо, обладающая определенным набором показателей, то она должна проявляться в конечном счете своим функциональным предназначением. Данное дедуктивное рассуждение поясним примером.
Если наземный РТК в качестве одной из своих функций имеет способность перемещаться по заданному маршруту из одной точки в другую с преодолением каких-либо препятствий, следуя за ведущим по ходу движения, то можно рассматривать такую технологию ИИ как “следуй за мной” (от англ. follow me). Под этой технологией подразумевается такой режим работы бортовой системы управления, при котором РТК не удаляется от оператора при его перемещениях в пространстве, а неотрывно следует за ним, повторяя траекторию ведущего. В процессе движения также должен поддерживаться режим “смотри на меня” [7].
Но если эту технологию ИИ рассматривать как комплексную способность, которую можно охарактеризовать показателями автономности, адаптивности и безопасности, то в ее состав входят отдельные функции. Каждая из этих составляющих позволяет применить комплексом отдельную способность или реализовать отдельную возможность. Для их практического внедрения (реализации) разработчики должны создать для системы управления РТК свой особый алгоритм. Пример декомпозиции такой технологии ИИ, как движение за ведущим по принципу “следуй за мной”, представлен в табл. 1.
Таблица 1.
Составляющие технологии ИИ “Следуй за мной”
Элементарные функции | Характеристики |
---|---|
Распознавание метки ведущего, поиск и удержание ведущего в зоне видимости | Поддержание возможности распознавания камерой метки на ведущем |
Поддержание связи c ведущим | Периодическая отправка сигнала о том, что системы РТК исправны и ведущий находится в зоне видимости |
Определение вектора движения ведущего | Идентификация направления движения ведущего для следования за ним |
Оценка расстояния до ведущего | Возможность распознать и удерживать безопасную дистанцию от ведущего |
Сканирование рельефа местности. Построение модели окружающей среды и трехмерной карты маршрута движения | Возможность строить трехмерную карту местности и принимать решение о возможности прохождения РТК по данному рельефу |
Обнаружение и идентификация препятствия | Способность обнаруживать препятствия из разных материалов и различной формы и определять расстояние до них |
Очувствление своих габаритных размеров [4] | Способность мобильного робота через комплексирование датчиков и обработку сенсорных данных получать информацию и соотносить свои габариты с параметрами окружающей среды в соответствии с построенной моделью |
Планирование вариантов маневра по обходу препятствия и выбор из них оптимального [5] | Способность предотвращать столкновение со статическим или динамическим препятствием |
Возврат в точку потери связи | Действия по поиску ведущего. В случае неудачи возвращение в точку обрыва зрительной связи и подача сигнала ведущему о потери связи с ним |
Другими словами, технология ИИ как комплексное понятие определяется целевым назначением РТК и проявляется при выполнении им своих функций через реализацию элементарных составляющих характеристик системы ИИ. Дальнейшая разработка подхода к испытаниям технологий ИИ должна рассматриваться именно с учетом концепции, состоящей из следующих принципов.
Технология ИИ – комплексная способность системы ИИ по своему целевому предназначению получать результаты, аналогичные деятельности человека.
Комплексность понятия заключается в том, что способность можно всегда представить совокупностью элементарных составляющих.
Испытание технологии планируется с использованием принципа суперпозиции – проведением испытания каждой элементарной способности, входящей в общую технологию ИИ.
ФУНКЦИОНАЛЬНО-КОГНИТИВНЫЙ ПОДХОД К ОРГАНИЗАЦИИ ИСПЫТАНИЙ ТЕХНОЛОГИЙ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
Возвращаясь к определению “технология ИИ”, следует обратить внимание на его заключительную часть: “позволяющих получать результаты, сопоставимые с результатами аналогичной деятельности человека”. Другими словами, действия технической системы в процессе получения результата можно сравнивать с действиями человека или животного с достаточно высоким уровнем интеллекта. Тестируемая техническая система рассматривается как когнитивная. На основе этой системы ставятся цели и принимаются решения о том, как надо действовать в той или иной ситуации, стараясь избежать когнитивного диссонанса. В основе когнитивной системы лежит взаимодействие памяти возможности получать информацию, анализировать ее и выбирать оптимальное решение.
Если рассматривать систему управления РТК как небиологическую систему с признаками ИИ, обладающую когнитивной функцией, то, в свою очередь, под технологией ИИ также понимается “способность связывать события во времени, осуществлять построение интерактивной пространственно-временной модели событий” [8].
Возвращаясь к лексическому анализу основных определений, на первый план следует вынести ключевые словосочетания, которые неразрывно связаны друг с другом:
“ИИ ↔ когнитивные функции человека”;
“технология ИИ ↔ аналогичная деятельность человека”.
Эти смысловые связи послужили основой для формулировки подхода к испытаниям. Рассмотрим функционально-когнитивный подход, в котором любое действие тестируемой технической системы начинается с целеполагания, т.е. выбора цели (функции, задачи) и выбора применения последовательности действий (алгоритма) для ее достижения. Однозначно, этот тезис является первичным. Тогда испытание всей системы организуется по составляющим технологии ИИ, которая рассматривается как комплексная способность. Каждая составляющая тестируется через практическое выполнение своей целевой функции, а качество выполнения когнитивных аспектов этих функций рассматривается и оценивается с той точки зрения, как эти функции выполнял бы человек.
В качестве примера рассмотрим функцию “Очувствление своих габаритных размеров” из табл. 1. Типичным примером сервисного мобильного робота является гусеничный робот (рис. 3) – робот на гусеничном ходу, перемещающийся на гусеницах [2]. Предполагается, что эта функция реализована в системе управления РТК.
Сущность теста на основе функционально-когнитивного подхода показана на рис. 4. Перед РТК со способностью очувствления своих габаритных размеров располагается препятствие в виде стены. В стене имеются два прохода. Через левый проход комплекс из-за своих размеров проехать не сможет, а через правый проходит свободно.
Рис. 4.
Применение функционально-когнитивного подхода к исследованию функции очувствления своих габаритных размеров.

На месте робота нормальный человек однозначно выберет вариант, позволяющий свободно преодолеть препятствие. Именно это и требуется выяснить при тестировании данной составляющей. Тест позволит оценить такие характеристики технологии ИИ, как автономность (необходимо без участия человека выбрать проход, соответствующий собственным габаритам) и безопасность (в случае ошибки комплекс рискует застрять в препятствии, что лишит его возможности передвигаться, и в итоге выполнить свою миссию).
ПРЕДЛОЖЕНИЯ ПО ОРГАНИЗАЦИИ ИСПЫТАНИЙ ТЕХНОЛОГИИ “СЛЕДУЙ ЗА МНОЙ” С ИСПОЛЬЗОВАНИЕМ ФУНКЦИОНАЛЬНО-КОГНИТИВНОГО ПОДХОДА
Для испытания технологии оборудуется специальный полигон, на котором создаются специальные участки для тестирования отдельных элементарных составляющих (табл. 1). Проект испытательного полигона представлен на рис. 5.
Первый этап тестирования заключается в распознавании метки ведущего, удержании в зоне видимости и определении вектора его движения. Проведение испытаний можно описать следующим образом. Испытатель надевает жилет, на котором с двух сторон расположен QR-код, встает перед РТК на установленном расстоянии от него. Комплекс фиксирует метку, направляющий поворачивается спиной, РТК снова фиксирует метку. Далее испытатель осуществляет перемещения влево, а затем вправо, робот должен повернуть в соответствующие направления вслед за человеком.
После перемещения направляющий возвращается в первоначальное положение и начинает передвигаться по участку траектории с переменной скоростью, сначала в быстром темпе, затем в медленном, завершать с нормальной скоростью, обычным шагом. РТК должен оценивать расстояние до направляющего и менять свою скорость в соответствии с изменением скорости перемещения человека.
Далее испытатель двигается по синусоиде. Радиус траектории движения равен примерно двум длинам робота. При этом РТК должен повторять траекторию движения человека. После трех маневров траектория выпрямляется.
Следующее испытание представляет собой полосу препятствий. Поочередно расположены три преграды: куб малого размера, ниже клиренса РТК, параллелепипед большого размера, выше клиренса РТК, щит с проемом в рост человека, но недостаточно широким для робота. Комплекс должен обнаружить и идентифицировать препятствия. Преодолеть первое препятствие, принять решение об объезде второго и третьего препятствий.
После прохождения трех преград направляющий и робот выходят на прямую траекторию. Затем, согласно ГОСТ [5], задействуются два динамических препятствия, в данном случае ими являются закрытые цилиндры серого цвета (h = 0.6 м), имитирующие туловище человека. Первый цилиндр движется перпендикулярно траектории движения робота, второй цилиндр – под углом 45° к траектории движения робота. Комплекс должен обнаружить препятствия и предотвратить столкновения с ними.
Следующий участок оборудован для комплексной проверки очувствления своих габаритных размеров (способность мобильного робота через комплексирование датчиков и обработку сенсорных данных получать информацию об объекте) и планирования вариантов маневра. Вначале преодоление колейного моста, затем объезд препятствия, сквозь которое проходит испытатель.
Далее испытывается способность робота к планированию маневра по обходу препятствия. Перед ним веерообразно располагаются пять ям. Система управления должна проложить оптимальный маршрут.
Заключительный тест – возврат в точку потери связи. Испытатель прячется за препятствие и снимает жилет с меткой. Робот заезжает за забор, не находит ведущего и возвращается в точку, где он его потерял.
Таким образом, для каждой составляющей функции “следуй за мной” предложен отдельный алгоритм проведения теста на полигоне, позволяющий оценить качество технологий ИИ.
ЗАКЛЮЧЕНИЕ
В результате проведенных аналитических исследований сформулировано уточненное определение “технологии ИИ”. Совершенно очевидно, что до настоящего времени аппарат испытаний РТК охватывал в основном рабочие характеристики комплексов, а такие характеристики, как автономность, адаптивность и безопасность систем ИИ, не тестировались.
Предложенный функционально-когнитивный подход может стать основой для разработки методов испытаний именно технологий ИИ, реализованных в наземных РТК и БЛА. В качестве основных направлений для дальнейших исследований в этой области являются определение перечня типовых технологий ИИ для наземных РТК транспортного назначения и разработка типовых программ и методик испытаний их составляющих.
Список литературы
ГОСТ Р ИСО 9000-2015 Системы менеджмента качества. Основные положения и словарь. М.: Стандартинформ, 2019. С. 59.
ГОСТ Р 60.0.0.4-2019 Роботы и робототехнические устройства. Термины и определения. М.: Стандартинформ, 2019. С. 27.
ГОСТ Р 60.0.3.1-2016 Роботы и робототехнические устройства. Виды испытаний. М.: Стандартинформ., 2019. С. 26.
ГОСТ Р 60.6.0.1-2021 Уровни автономности. Термины и определения. М.: Стандартинформ, 2021. С. 7.
ГОСТ Р 60.6.3.15-2021 Роботы и робототехнические устройства. Рабочие характеристики и соответствующие методы испытаний сервисных мобильных роботов. Ч. 2. Навигация. М.: Стандартинформ, 2021. С. 16.
Технологии и системы искусственного интеллекта военного назначения. Общие положения. Термины и определения. Классификация. Методические материалы 46 Центрального научно-исследовательского института. М., 2022. С. 18.
Технология “Следуй за мной”. https://robotrends.ru/robopedia/follow-me
Педагогическая энциклопедия. https://didacts.ru/termin/kognitivnyi-podhod.html
Дополнительные материалы отсутствуют.
Инструменты
Вестник Военного инновационного технополиса «ЭРА»