Вестник Военного инновационного технополиса «ЭРА», 2023, T. 4, № 2, стр. 190-201

ВВЕДЕНИЕ

Системы распознавания и классификации объектов широко применяются в различных сферах жизнедеятельности [1–13]. Как правило, кривая технологического развития идет по пути комплексирования используемых методов с целью повышения качества функционирования, а также получения некоего синергетического эффекта. Современная практика говорит о том, что больший эффект позволяют получить комбинированные системы распознавания образов, поскольку охватывают больший круг задач. Поскольку в настоящий момент имеется достаточно богатый опыт внедрения интеллектуальных подходов в различных областях, логичным было использование и внедрение таких решений и для систем распознавания образов.

Применение систем интеллектуализации позволяет охватить круг сложноформализуемых задач, для которых разработка математической модели либо затруднена, либо вообще невозможна [14, 15]. Поскольку технологический процесс совершенствования объектов постоянно усложняется, то и задача разработки адекватных математических моделей становится сложно реализуемой. Это приводит к тому, что для разработки систем распознавания образов [19–30] все чаще применяются методы управления сложными объектами [16, 17], использующие контроль параметров, а не состояний.

Усложнение объектов, увеличение числа анализируемых признаков приводят к усложнению аппаратно-программных средств автоматизированной обработки информации [19, 24, 26, 27]. Динамика изменения характеристик объектов распознавания и наличие значительного количества помех и искажений при их анализе негативно влияют на точность и достоверность итогового результата [19, 26]. Это существенно затрудняет решение задачи автоматизации обработки информации и управления [27]. Наиболее эффективное решение связано с применением интеллектуальных методов и подходов, разработкой адекватных алгоритмов обработки данных и увеличения требуемых вычислительных мощностей [19, 25–27].

Как правило, процесс распознавания объектов состоит из двух этапов. На первом решается задача обнаружения (идентификации) объекта, принадлежащего известному для интеллектуальной системы набору классов. На втором этапе выполняется непосредственно классификация идентифицированного объекта в зависимости от его принадлежности какому-то классу из известных. Процесс может выполняться как последовательно, так и параллельно. Наибольшие затруднения связаны с частой изменчивостью получаемых для распознавания изображений объектов. На точность и достоверность распознавания влияет множество факторов, к которым можно отнести расположение в пространстве, окрас и форму объекта, время суток (освещение) и множество других. Известна практика применения подходов распознавания: алгоритмы адаптивного усиления [1], алгоритмы на основе гистограмм градиентов [2, 3] и информации о цвете [4], высокую эффективность при распознавании лиц показали алгоритмы каскадных классификаторов на основе метода Виолы–Джонса [5, 6], алгоритмы контурного анализа [7] и ряд других.

Решения на базе сетей Хопфилда позволяют распознавать объекты с использованием ассоциативной памяти, устанавливающей взаимосвязи между векторами входных данных. Известны два типа ассоциативной памяти: автоассоциативная (взаимозависимость входных векторов характерна для одного и того же вектора) и гетероассоциативная (взаимозависимостью характеризуются два различных вектора). Ассоциативная память запоминает и восстанавливает эталонные образы [28]. Сеть Хопфилда является полносвязной нейронной сетью с симметричной матрицей связей. Для обучения сетей Хопфилда часто используют метод Хебба и правило проекции.

Генеративным вариантом сети Хопфида является машина Больцмана, которая для обучения использует алгоритм имитации отжига. Главным ее достоинством является возможность обучаться внутренним представлениям и решать сложные комбинаторные задачи.

Современные интеллектуальные методы решения задачи классификации используют предварительное выделение признаков (Feature Engineering), а также глубокие сверточные нейронные сети, реализующие последовательный анализ в режиме скользящего окна [8]. Наиболее перспективным с точки зрения достоверности и точности классификации является применение Regional Convolutional Neural Networks (R-CNN) или регионных (областных) глубоких сверточных нейронных сетей, позволяющих одновременно выполнять как поиск объектов, так и их классификацию [9–11].

В отличие от рассмотренных ранее они предназначены непосредственно для идентификации известных объектов и в своей основе имеют специальные алгоритмы предобработки – region-proposal-function, выявляющие на изображении его отдельные участки, содержащие потенциально идентифицируемые объекты. Это позволяет добиться требуемой точности идентификации при существенном сокращении не только используемых вычислительных мощностей, но и временных затрат на расчеты. К известным примерам реализации такого подхода можно отнести, например, [12, 13].

Важной особенностью рекурентных сетей является то, что они получают данные не только с предыдущего слоя сети, но и от собственного выхода с предыдущего прохода очередной эпохи, что существенно ужесточает требования к порядку предоставления данных.

ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ

Как было отмечено ранее, идентификация объектов распознавания происходит путем анализа его характеристик – признаков, общая сумма которых составляет его образ, который может быть описан как

где Р – образ объекта, описываемый набором признаков x₁–x_n.

Отметим, что достоверность и точность идентификации объекта зависят не только от количества признаков, которое распознала нейросеть, но и от их информативности, поскольку необходимо учитывать значение энтропии наряду с вероятностью распознавания. На практике для решения подобной задачи применяются многопараметрические системы распознавания, в которых объект представляется совокупностью признаков, имеющих разную природу возникновения, что обусловливает применение различных подходов при регистрации входных параметров и повышает достоверность выходных данных. В этом случае математическая модель объекта распознавания будет иметь вид

где P₁–P_k – идентифицируемые образы объекта распознавания, x₁₁–x_kn – идентифицируемые признаки объекта распознавания.

Приведенное описание может существенно повысить точность и достоверность пространства признаков идентифицируемого объекта. Необходимо учитывать и тот факт, что, например, для сетей Хопфилда существует определенное требование, заключающееся в том, что матрица весовых коэффициентов должна быть квадратной, ее диагональные элементы равны нулю (${{W}_{{ij}}}$ = 0), а связи симметричны (${{W}_{{ij}}} = {{W}_{{ji}}}$).

Для сравнения в работе рассмотрены различные структуры сверточных нейронных сетей, применяемые в комбинированных системах распознавания образов. К ним относятся: сети Хопфилда, R-CNN с оригинальным алгоритмом region-proposal function, Fast R-CNN, Faster R-CNN [9–11]. При проведении исследований использовали набор данных COCO (насчитывающий 330 000 изображений размером 640 × 507 пикселей разбитых на 80 классов) [29], содержащий также пояснения, в которых имеются координаты объекта, класс, к которому он принадлежит, ссылку на него и дополнительную информацию. Для обучения и тестирования сетей анализировалось 6000 случайных изображений.

Модель R-CNN. Распознавание объектов с использованием модели R-CNN [9] выполняется в несколько этапов.

Этап 1. Генерация области анализа (region proposals), предположительно содержащей целевые объекты (обычно до 2000 возможных областей), с использованием различных алгоритмов (например, Edge Boxes или Selective search), позволяющих снизить вычислительную сложность идентификации объектов. Как правило, вначале выполняется анализ детектором исходного изображения (изображений) в разных масштабах со сдвигом окна идентификации и в результате формируется набор целевых областей прямоугольной формы, потенциально содержащих объект.

Алгоритм Edge Boxes [30] генерирует области анализа в форме прямоугольной рамки, ограничивающей объект. Границы области обеспечивают описательное информативное представление исходного изображения. Число образов, ограниченных контурами и полностью находящихся внутри ограничивающего прямоугольника, характеризует значение вероятности нахождения объекта в данном прямоугольнике. Итоговое число контуров объектов распознавания получается путем исключения из общего числа тех контуров, которые выходят за границы прямоугольной рамки, т.е. содержат замкнутые или почти замкнутые линии.

Алгоритм селективного поиска (selective search) [31] использует стратификационную выборку схожих областей, выстраиваемую в соответствии с цветом, текстурой, фоном, размером, формой и графом. Для графов максимумом выбирается интенсивность пикселя, а в качестве ребра берут пару соседних пикселей. Весом ребра выступает разница между интенсивностями пикселей вершин ребра, которая в дальнейшем используется для классификации элементов распознаваемых объектов. После предварительной группировки похожих областей изображения вычисляется новое значение сходства объектов до тех пор, пока вся выделенная область анализа не станет единым объектом. Интенсивность пикселей является главным фактором, учитываемым при распознавании объектов в ходе анализа.

Этап 2. Формируется набор признаков исходного изображения. Проводится масштабирование сгруппированных областей анализа в соответствии с архитектурой сверточной нейронной сети (CNN) таким образом, что каждая область преобразуется в квадрат 227 × 227 пикселей. До начала процесса форматирования граница области анализа расширяется на 16 пикселей и вместе с основным квадратом объекта подается на вход CNN. На выходе CNN формируется 4096-мерный вектор признаков для каждой области анализа.

Этап 3. Используется метод опорных векторов (SVM) для классификации объектов из каждой области анализа на основе полученного вектора признаков. Для этого применяется алгоритм Non-Maximum Suppression, учитывающий для определения контура только локальные максимумы пикселей.

Алгоритм region-proposal-function R-CNN имеет архитектуру, похожую на алгоритм, рассмотренный в [9], но отличается лучшими характеристиками в плане оперативности и оптимальности.

Этап 1. Генерация множества областей анализа, потенциально включающих в себя объект распознавания. Преобразование исходного изображения к черно-белому или серому. Определяются значения, выступающие в качестве констант по масштабу и соотношению сторон. На этом этапе для поиска прямоугольных областей анализа перекрытие соседних ограничивающих прямоугольников задается как значение параметра α, а порог, согласно которому кандидаты будут удаляться, как значение параметра β. Для генерации областей интереса используется модификация алгоритма Edge Boxes.

Этап 2. Определяется область анализа в виде ограничивающего прямоугольника, в которой с использованием весов контуров объектов внутри него вычисляется их общее число. Находятся координаты пикселей этих контуров для дальнейшего определения соприкасающихся контуров как между собой, так и с граничным прямоугольником. Веса контуров, выходящих за границы области анализа, в оценку не включаются, полученная оценка нормируется относительно области анализа и записывается в массив по убыванию, что позволяет отбросить минимальные значения весов контуров распознаваемых объектов.

Этап 3. Классификация объектов распознавания для каждой области анализа. Для выделенного прямоугольника из области анализа поочередно сравниваются пересекающиеся с ним, вычисляются перекрывающиеся площади и определяется пороговое значение. Если пороговое значение больше β, то прямоугольник отбрасывается. Затем полученный массив передается на CNN, определяющую класс объекта или фона.

Рассмотренный алгоритм не обладает необходимой оперативностью вследствие того, что создается достаточно большое число областей для анализа (прямоугольников) и возникает необходимость хранения большого количества данных.

РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ

В ходе исследования проведено сравнение по различным показателям четырех типов нейронных сетей на предмет точности и достоверности распознавания объектов. В качестве набора данных для сравнения использовали набор данных COCO (насчитывающий 330 000 изображений размером 640 × 507 пикселей разбитых на 80 классов) [29]. Отметим, что информативность признаков объектов распознавания в рамках данной работы не рассматривали, но она является важным параметром, влияющим на качество и итоговое значение результата. В качестве основных показателей для оценки использовали [32, 33]:

– доля правильных ответов алгоритма (accuracy);

– точность (precision);

– полнота (recall);

– среднее гармоническое точности и полноты (precision и recall) – F-мера;

– площадь под кривой ошибок (AUC-ROC и AUC-PR);

– логистическая функция потерь (Logistic Loss).

Доля правильных ответов алгоритма (accuracy) относится к классу наиболее простых и понятных, однако редко используемых метрик, так как наименее информативна при решении задач с неравными классами, а также никоим образом не оценивает предсказательную точность сети:

Для оценки качества работы сети на каждом из классов по отдельности применяются метрики точность (precision) и полнота (recall):

Точность (precision) интерпретируется как доля объектов, идентифицированных классификатором корректными (положительными) и при этом действительно ими являющимися, а полнота (recall) показывает, какую долю объектов положительного класса из всех признаков положительного класса нашел алгоритм.

Как правило, для оптимизации гиперпараметров алгоритма применяется метрика F-мера как среднее гармоническое precision и recall:

В данном случае α определяет вес точности в метрике, при α = 1 это среднее гармоническое (с множителем 2, чтобы в случае precision = 1 и recall = = 1 иметь ${{F}_{1}}$ = 1). F-мера достигает максимума при полноте и точности, равных единице, и стремится к нулю, если любой из аргументов также стремится к нулю.

Одной из метрик, позволяющей оценить ИНС в целом, не привязываясь к конкретному порогу, является метрика – площадь под кривой ошибок (AUC-ROC). Данная кривая представляет собой линию от (0.0) до (1.1) в координатах True Positive Rate (TPR) и False Positive Rate (FPR):

TPR – это полнота, а FPR показывает, какую долю из признаков протоколов negative класса алгоритм предсказал неверно. Тогда, если сеть не делает ошибок (FPR = 0, TPR = 1), площадь под кривой будет равна единице; в противном случае, при случайной вероятности классов, AUC-ROC → → 0.5, а TP = FP. На рис. 1 показано соответствие выбора объекта в определенной точке и соответствующего значения порога. Чем больше площадь под кривой, тем выше качество алгоритма, кроме этого, важное значение имеет крутизна кривой, в идеале (при TPR → max и FPR → min) кривая должна стремиться к точке (0,1).

Важным достоинством метрики AUC-ROC является устойчивость к несбалансированным классам признаков, т.е. случайно выбранный объект, относящийся к классу positive, имеет вероятность ранжирования выше, чем случайный объект, относящийся к классу negative.

Метрики Precision и recall также используют для построения кривой и аналогично AUC-ROC находят площадь под ней (рис. 2).

Для решения задач классификации допустимо использование логистической функции потерь.

где ${{\tilde {y}}_{i}}$ – это ответ алгоритма на i-м объекте, y – метка истинности класса на i-м объекте, а l – размер выборки.

Как правило, минимизация логистической функции представляет собой задачу максимизации доли правильных ответов сети (accuracy) за счет применения достаточно большого регрессионного коэффициента за неверные предсказания.

Наглядно подобная ситуация при неверном ответе и уверенной классификации показана на рис. 3, исходя из которого можно сделать вывод, что ошибка на одном признаке дает существенное ухудшение итоговой ошибки на выборке (чем ближе к нулю ответ алгоритма, тем выше значение ошибки и круче растет кривая). Следовательно, данная метрика не всегда точно отражает результаты оценки и для нашей модели применяться не будет. Рис. 6

Для оценки алгоритмов проведены испытания с использованием известного набора данных C-OCO. В качестве метрик для оценки использовали точность (precision), полноту (recall) и среднее гармоническое точности и полноты (precision и recall) – F-мера. Результаты представлены в табл. 1. На рис. 4, 5 показаны расчетные значения точности, полноты и F-меры для различных вариантов CNN. Рис. 7

ЗАКЛЮЧЕНИЕ

Рассмотрен сравнительный анализ алгоритмов сверточных искусственных нейронных сетей для применения в комбинированных системах распознавания образов. Для анализа использовались модели нейронных сетей Хопфилда, R‑CNN, Fast R-CNN, Faster R-CNN. Исходя из представленных результатов можно сделать вывод, что использование предложенного подхода к генерации областей анализа повышает точность и достоверность получаемых результатов поиска объекта на изображении. Тестирование работы модификаций различных моделей R-CNN показывает, что модель Faster R-CNN и сеть Хопфилда существенно превосходят по показателям точности (precision), полноты (recall) и среднего гармонического точности и полноты (precision и recall) – F-меры другие модели из-за использования в качестве алгоритма генерации областей анализа специальной сети формирования соответствующих предложений. Однако сеть Хопфилда проигрывает по показателю точности (precision). В целом полученные результаты моделирования и тестирования приведенных моделей свидетельствуют о высокой точности классификации и полноте обнаружения объектов на изображении для всех рассмотренных алгоритмов. Рис. 8