Доклады Российской академии наук. Математика, информатика, процессы управления, 2023, T. 514, № 2, стр. 417-430

2.1. Практика классификации ESG-рисков

Одной из отправных точек для ESG-движения стали Принципы ответственного инвестирования, инициатива, основанная в 2005–2006 гг., которая предложила шесть принципов в форме высокоуровневых подходов к инвестированию [3]. По мере того как внедрение принципов ответственного инвестирования набирало обороты, появились различные инициативы по классификации и оценке ESG-рисков. Были разработаны стандарты и руководящие принципы для выявления и оценки рисков в сфере финансов, особенно проектного финансирования, включая стандарты деятельности МФК [4]; экологические и социальные стандарты Всемирного банка [5], набор инструментов ЕБРР для управления экологическими и социальными рисками [6], и т.д.

Эти принципы повлияли на разработку стандартов нефинансовой отчетности, главным образом GRI [7] и SASB [8]. GRI предоставляет списки тем и показателей устойчивости, связанных с наибольшим воздействием, для некоторых отраслей в рамках разработанных отраслевых стандартов, в то время как SASB фокусируется на темах и показателях, существенных для финансовой устойчивости, которые могут представлять интерес для инвесторов. SASB также предоставляет собственный инструмент для определения существенности³³. Стандарты Международного совета по стандартам устойчивого развития (ISSB), наиболее новые на момент написания статьи, основаны на финансовой существенности, однако они не дают ясности в отношении того, что считается финансово существенным для каждой отрасли. Ожидается, что компания определит свои собственные существенные риски и показатели, по которым будет отчитываться.

Аналитические агентства также учитывают ESG-принципы в своих рейтинговых методологиях и создают рейтинговые ESG-продукты. Наиболее распространенными и прозрачными с точки зрения ESG-риков и тем являются рейтинги MSCI ESG Ratings [9] (включая MSCI ESG Industry Materiality Map ⁴⁴) и S&P Global Corporate Sustainability Assessment [10].

2.2. Обзор решений с открытым исходным кодом

Популяризация моделей глубокого обучения в финансовой индустрии привела к развитию тематического анализа ESG-новостей и отчетов с использованием моделей NLP. Использование моделей NLP для анализа ESG-новостей позволяет финансовым экспертам и специалистам по ESG получить более глубокое представление о влиянии событий, тенденций и достижений, связанных с ESG, на компании и отрасли. Тематический анализ превосходит простой анализ настроений, концентрируясь на распознавании и классификации конкретных тем и сюжетов, связанных с экологическими, социальными аспектами и управлением, на основе обширных текстовых данных. Модели глубокого обучения, особенно нейронные сети, продемонстрировали высокую эффективность в автоматическом обнаружении закономерностей и связей в текстах, что делает их подходящими для проведения тематического анализа [11, 12].

На рынке уже есть модели, которые классифицируют ESG-новости. Мы приводим сравнительную табл. 1, которая позволяет проанализировать различия между ними.

Был разработан ряд библиотек для классификации текстов по категориям ESG.

ESG-BERT⁵⁵ это текстовый классификатор с открытыми весами. Эта библиотека позиционируется авторами как специфичная для области устойчивого развития модель BERT (Bidirectional Encoder Representations from Transformers) для интеллектуального анализа текста.

FinBERT-ESG⁶⁶ основан на модели FinBERT [13]. FinBERT-ESG был доработан на основе 2000 аннотированных вручную предложений из ESG-отчетов и годовых отчетов компаний. Модель была обучена классифицировать тексты по четырем ESG-темам (E, S, G или текст другого типа).

FinBERT-esg-9-categories⁷⁷ дополняет модель FinBERT-ESG и была разработана теми же авторами. Модель была доработана примерно на 14 000 предложениях, аннотированных вручную, и классифицирует тексты по девяти ESG-темам: Изменение климата, Природный капитал, Загрязнение окружающей среды и отходы, Человеческий капитал, Ответственность за качество продукции, Общественные отношения, Корпоративное управление, Деловая этика и ценности, Не связанные с ESG.

FinBERT-ESG-Refinitive [14] была предобучена по новостям, связанным с финансами. Существует два различных контекста: задача с несколькими метками и многоклассовая классификация с 20 и 9 классами соответственно. Акцент в этих классах в рамках модели делается в первую очередь на социальных и управленческих аспектах, причем только один класс охватывает все экологические явления.

Как видно из табл. 1, большинство моделей предназначены для решения задачи многоклассовой классификации. Однако задача с несколькими метками в анализе новостей предпочтительнее задачи с единственной меткой среди нескольких классов [15]. Это важно при анализе ESG-новостей из-за сложного и взаимосвязанного характера экологических, социальных вопросов и вопросов управления. Задача с несколькими метками позволяет охватить несколько актуальных ESG-тем в каждой новостной статье, устраняя двусмысленность, поддерживая всесторонний анализ и позволяя расставлять приоритеты на основе релевантности и значимости. Такой подход обеспечивает большую точность и гибкость, что делает его идеальным для понимания многогранных аспектов ESG-тем в финансовой индустрии.

В контексте ESG-новостей, где статьи часто охватывают многогранные темы и взаимосвязанные аспекты, иерархическая классификация обеспечивает тонкий подход для эффективной категоризации и анализа различных аспектов воздействия на окружающую среду, социальной динамики и практики управления. Организовывая темы в иерархию классов, этот метод обеспечивает более детальный анализ новостного контента, позволяя исследователям, аналитикам и заинтересованным сторонам различать не только крупные темы, но и тонкие нюансы внутри каждой из них.

3.1. Разработка методологии классификации ESG-рисков

Как видно из раздела 2.1, единой методологии классификации ESG-рисков не существует. Все перечисленные методологии содержат различные наборы ESG-рисков или тем и метрик для их измерения. Каждая методология может отличаться подходом к существенности (существенность воздействий или финансовая существенность) и степенью детализации (группировки) рисков. Например, экологические риски для отрасли воздушного транспорта включают 2 категории рисков в методологиях SASB и MSCI и 8 типов рисков в руководстве ЕБРР.

Проблема расхождения ESG-рейтингов начинается с различий между иерархиями тем и показателей, которые используются для оценки ESG-эффективности.

Классификация ESG-рисков, лежащая в основе модели ESGify, представляет собой детализированную систему, которая может применяться для измерения как воздействий, так и финансово значимых аспектов. При разработке системы классификации группа экспертов по ESG проанализировала методологии международных стандартов и рейтингов, упомянутых выше. В методологии были учтены знания и опыт экспертной группы по оценке ESG-рисков для различных отраслей в рамках due diligence для принятия финансовых решений.

В нашей методологии мы постарались найти баланс между полнотой, детализацией и представлением событий. Мы уделили особое внимание существенности рисков, все классы которых оказывают финансовое влияние, либо воздействие на реципиента в области устойчивого развития. Методология классификации разработана с единой степенью детализации рисков. Мы также стремимся избегать пересечений между классами, чтобы упростить дальнейшее использование использование в автоматизированных системах. Мы показываем иерархическое представление типов событий с агрегированием, чтобы проиллюстрировать нашу логику.

В процессе разработки категоризации группа из 10 экспертов по ESG, имеющих опыт анализа и оценки ESG-рисков, использовала следующие подходы:

• Анализ лучших практик – методологий международных стандартов и рейтингов, упомянутых выше;

• Обобщение экспертных знаний и опыта экспертной группы по оценке ESG-рисков в различных сферах деятельности;

• Классификация рисков на основе фактора риска, источника риска и реципиента риска, т.е. компонента окружающей среды или группы заинтересованных лиц, на которую влияет наступление риска;

• Кластеризация ESG-рисков в зависимости от их возникновения с учетом существенности последствий событий, связанных с рисками.

Система классификации имеет три уровня иерархии: аспекты (экологический, социальный, управленческий), классовая группа (тематическая группа) и классы (темы). Общее количество классов составляет 47 (см. табл. 4 , табл. 5 , табл. 6 , рис. 1).

Рис. 1.

Визуализация методологии иерархической классификации ESGify.

Наша конечная цель – разработать универсальную классификацию, применимую к компаниям с различными видами деятельности. Модель ESGify основана на первой версии такой классификации.

Например, чтобы охватить все экологические риски, эксперты включили различные категории для каждого компонента окружающей среды (вода, воздух, почва и т.д.). Чтобы учесть сложный характер и регулирование выбросов парниковых газов и климатических рисков, они были выделены в отдельный класс “Климатические риски и воздействия”, в то время как все вещества окружающей среды, загрязняющие воздух, рассматриваются в категории “Загрязнение атмосферного воздуха”.

Некоторые категории разделены на несколько подклассов, чтобы отразить различные значимые риск-события. В области управления водными ресурсами были созданы три подкласса: потребление воды, управление сточными водами и загрязнение поверхностных вод (которое может быть вызвано чрезвычайной ситуацией, а не сбоем системы управления сточными водами). Существует также отдельный класс “Загрязнение почвы и подземных вод”. Для каждого инцидента, связанного с водой, обычно существуют разные нормы экологического законодательства и разные методы оценки ущерба окружающей среде. Таким образом, эти события должны быть представлены в различных классах. С помощью такого подхода любые существенные новости о рисках, связанных с водой, будут проанализированы и классифицированы.

Мы также создали категории для восстановления земель, которым часто пренебрегают компании защиты животных, поскольку эта проблема вызывает большой интерес у общественности, управления окружающей средой, касающегося оценки воздействия, лицензий на эксплуатацию и т.д.

Есть также темы, которые разделены между аспектами, такие как “Отведение земель и переселение”, которые можно найти в экологическом и социальном аспектах, означающих различные типы рисков, – в экологическом аспекте это связано с переводом земли из одной категории в другую, в то время как в социальном аспекте это относится к экономическому переселению.

Двумя ключевыми ограничениями текущей версии методологии ESGify являются ограничения экспертов, поскольку они в основном использовали свой опыт при анализе российских компаний с акцентом на экологические аспекты, присущие производственной деятельности; и ограничения предварительных условий, поскольку классификатор настроен только для негативных (рискованных) событий, которые представляют наибольший интерес – в будущем его можно расширить до позитивных событий.

Несмотря на ограничения, мы считаем, что методология ESGify обладает высоким потенциалом для использования в качестве универсальной системы классификации ESG-рисков.

3.2. Подготовка тренировочного корпуса текстов

3.2.1. Данные. Мы собрали ESG-отчеты и отчеты об устойчивом развитии, совокупный объем которых превысил 2000 страниц, чтобы разработать набор данных для адаптации к предметной области без учителя. Затем мы извлекли более 17  000 релевантных ESG-новостей, новостей из платформы RepRisk⁸⁸, чтобы сделать аннотацию. RepRisk – это аналитическая платформа, которая проводит ESG-оценки компаний и собирает новости о них со всего мира. Поскольку корпус RepRisk содержит только новости, связанные с ESG, мы также использовали корпус текстов, не относящихся к ESG-тематике, из набора данных CNN/Daily Mail [16] для достижения способности модели классифицировать тексты как связанные с ESG и не связанные с ESG.

3.2.2. Процесс аннотирования. При разработке модели мы придерживались парадигмы с несколькими метками, где каждый текст может быть помечен (аннотирован) более чем одной меткой. Эта парадигма позволяет создавать более точные текстовые описания. Однако это требует больше времени, чем многоклассовая маркировка.

10 экспертов по ESG были вовлечены в процесс аннотирования для достижения высокого качества набора данных. Чтобы обеспечить согласованность аннотаций и уменьшить количество человеческих ошибок, мы организовали процесс аннотирования таким образом, чтобы по крайней мере 15% текстов было обработано 3 специалистами. Мы также разработали клиент-серверное приложение, учитывающее специфику описания иерархического класса и ускоряющее процесс аннотирования. После разметки мы также перепроверили размеченный корпус. В общей сложности мы разметили (аннотировали) и проверили 2000 текстов, относящихся к ESG-рискам.

3.3. Обучение классификатора

3.3.1. Адаптация к предметной области. Обучение языковых моделей требует большого объема текстов для достижения достаточного качества языкового моделирования [17]. Это одна из главных причин, по которой модели NLP обычно обучаются без связи с какой-либо областью знаний. Поскольку модели обучаются на общих наборах данных, они часто испытывают трудности, когда сталкиваются с конкретными областями. Адаптация моделей к целевой области может значительно повысить их производительность [13] по мере того, как они становятся более приспособленными к конкретным лингвистическим конструкциям, терминологии и контекстуальным подсказкам, уникальным для данной предметной области. В нашем исследовании мы адаптировали общие модели к предметной области (перенесли на предметную область), используя данные 23 отчетов об устойчивом развитии (объ-емом до 2000 страниц), полученные от компаний, работающих в различных секторах экономики.

Процесс адаптации (подстройки под предметную область) состоит из решения задачи восстановления маскированных слов (MLM). Мы использовали предварительно обученную модель MPNet-base [2] в качестве отправной точки и дообучаем ее в течение трех эпох с размером пакета 128 и скоростью обучения 5e-5. Общее количество обучающих примеров составило 31 432 с максимальной длиной 100 токенов, а вероятность маскирования слова составила 0.15 при использовании маски из целого слова. Количество проверочных примеров с теми же параметрами составило 15 482.

3.3.2 Классификация. Адаптированная к предметной области модель не может напрямую ответить на основную задачу, но уже понимает информацию, связанную с ESG. Чтобы решить задачу классификации ESG-текстов, нам нужно обучить дополнительный слой поверх модели сжатия.

Прежде, чем обучить основную модель, мы подготовили набор данных, состоящий из новостей. Для различных секторов экономики ESG-риски могут иметь значительные диспропорции. Более того, некоторые компании занимают доминирующие позиции в секторе, и это вызывает ложные ассоциации между названиями компаний и риском. Чтобы решить эту проблему, мы замаскировали обучающий набор данных.

Мы использовали Flair Named Entities Recognition model [18] для поиска и маскирования следующих классов: организация, дата, страна и человек. Мы используем специальные токены для каждого класса и добавляем их в словарь токенизатора.

Как уже упоминалось, набор данных состоит из 2000 аннотированных текстов. Поскольку мы также помечаем новости как не относящиеся к ESG, мы добавили в набор данных 120 не относящихся к теме новостей с целью расширить границы применимости нашей модели. В тестовом наборе используется 400 аннотированных текстов. Другие (остальные) тексты были использованы в процессе обучения.

Мы разделили обучающий корпус текстов на обучающие и валидационные подмножества в пропорции 2 : 1 и провели перекрестную валидацию. Мы используем постановку задачи с несколькими метками, и каждый образец может быть помечен более чем одной меткой. Соответственно, для разделения на обучение/валидацию мы используем алгоритм итеративной стратификации [19, 20] для корректного распределения выборок.

Результатом работы модели сжатия является набор векторов, размер которого зависит от исходного текста. Поскольку мы решаем задачу классификации, необходимо получить одинаковую размерность для всех выборок. Мы используем операцию усреднения над набором векторов сжатого пространства для получения векторов одинакового размера. Мы также ограничиваем максимальное количество входных токенов до 512. Далее мы классифицируем текст с помощью двух полносвязных слоев, вставив ReLU функцию активации и случайное зануление части весов между первым и вторым слоем нейросети.

Тренировочный процесс состоит из двух этапов. Первый – это обучение линейных слоев с постоянными весами модели сжатия. В качестве функции потерь мы выбрали взвешенную двоичную кросс-энтропийную потерю. Выбранные веса соответствуют обратной частоте классов в обучающем наборе. Мы делаем это, чтобы лучше учитывать редкие классы. Второй этап – это обучение с более низкой скоростью обучения без ограничений на изменение весов для всех моделей.

Мы также дополняем набор обучающих данных двумя различными способами. Первый метод заключается в применении дополнения к исходным текстам. Мы заменяем случайные слова из текста синонимами с вероятностью 0.15. Далее мы используем технику обратного перевода. Этот метод состоит из двух последовательных переводов на французский и английский язык после этого. Из-за неточностей в процессе перевода мы получаем синонимизированный текст с той же центральной идеей, что и в исходном тексте. Мы используем библиотеку textaugment [21].

Второй метод расширения – это создание синтетических примеров новостей с использованием большой языковой модели (LLM). Мы используем модель LLama 2-Chat 13B [22]. С описанием класса и примером для этого класса мы пишем запросы для генерации новых примеров. Пример запроса и ответа приведен в табл. 2.

Чтобы создать расширенный набор данных, мы используем малопредставленные классы новостей из обучающего набора данных. После этого, основываясь на косинусном расстоянии между сгенерированными примерами и исходными новостями, мы исключаем синтетические новости со значениями косинусного сходства более 0.8. С помощью этого метода мы добавили искусственные новости в мультиклассовой парадигме, но эти новости также могут быть дополнительно аннотированы языковой моделью для создания элементов с несколькими метками.

4.1. Классификационная модель

Как уже было сказано ранее 3.3.1, мы использовали метод адаптации к предметной области, чтобы улучшить способность наших моделей кодировать тексты, связанные с ESG. Мы адаптировали две предварительно обученные модели: MPNet-base и Roberta-base. Во время проверки процесса обучения перекрестные потери энтропии уменьшились на 24 процента для модели ROBERTA и на 22 процента для модели MPNet. Это демонстрирует улучшение обеих моделей для реконструкции текстов, связанных с ESG.

Для получения модели с максимальным качеством мы сравниваем MPNet-base, Roberta-base и ESG-Bert (без классификационного слоя) с различными методами аугментации. Более того, мы сравниваем наши модели с ChatGPT на тестовом наборе. В качестве запроса для ChatGPT мы используем простое определение задачи и перечисление классов. Результаты показаны в табл. 3.

Эти показатели включают в себя F1-Macro, F1-Weighted, Precision-Weighted, Recall-Weighted, и AUROC-Weighted. Оценка выполняется для проверочного набора данных с пороговым значением 0.5 для всех меток, тестового набора данных с пороговым значением 0.5 для всех меток и тестового набора данных с пороговым значением, оптимизированным с помощью максимизации F1 в наборе данных проверки для каждой метки.

Среди представленных моделей базовые версии ROBERTA, MPNet и ESG-BERT демонстрируют лучшие метрики качества по показателям F-1 в тестовом наборе, оптимизированном для пороговых значений, чем версии этих моделей с данными, дополненными методом обратного перевода (BTR). Это указывает на то, что метод аугментации, примененный к этим моделям, не улучшает их баланс между показателями точности и полноты. Одной из вероятных причин является сложность корректной аугментации в задачах с несколькими метками при использовании небольших наборов данных и редких меток. Аугментация с помощью LLama 2 изменила эту ситуацию благодаря возможности генерировать качественные синтетические новости и улучшать весь процесс обучения для достижения лучших показателей.

Результаты показывают, что оптимизация порогового значения на основе максимизации F1 в наборе данных проверки для каждой метки может привести к повышению качества на тестовом наборе данных. Такой подход позволяет регулировать баланс между точностью и полнотой в зависимости от конкретных требований задачи.

Также наши модели демонстрируют аналогичную или лучшую производительность по сравнению с одной из самых популярных ESG-моделей. Этот факт косвенно указывает на то, что для адаптации предметной области достаточно небольшого объема текста. Модель, зависящая от предметной области, демонстрирует гораздо лучшую производительность, чем большая языковая модель с подсказкой. Наше исследование не направлено на разработку оптимальных подсказок для больших языковых моделей. Однако результаты эксперимента демонстрируют сравнимую точность и меньшую полноту для большой языковой модели в сравнении с моделью, адаптированной под предметную область.

Одним из важных ограничений этого исследования является ограниченный объем данных, доступных для оценки, что влияет на качество моделей. При более крупном и разнообразном наборе данных модели могли бы демонстрировать иное поведение и потенциально достигать более высокого качества. Как было показано, расширение набора данных с помощью модели LLM может улучшить результаты классификации. Поэтому обобщение данных результатов на более масштабные задачи классификации текстов следует производить с осторожностью.