Иванов Роман Дмитриевич — старший помощник начальникаотдела, младший научный сотрудник
Санкт-Петербург, 197198
Roman D. Ivanov — Senior Assistant to the Head of the Department, Junior Research
Saint Petersburg, 197198
Менисов Артем Бакытжанович — доктор технических наук,старший преподаватель
Санкт-Петербург, 197198
sc 57220815185
Artem B. Menisov — D.Sc., Senior Lecturer
Saint Petersburg, 197198
sc 57220815185
Мишуков Олег Александрович — кандидат технических наук,старший преподаватель
Санкт-Петербург, 197198
Oleg A. Mishukov — PhD, Senior Lecturer
Saint Petersburg, 197198
Сабиров Тимур Римович — кандидат технических наук, старший преподаватель
Санкт-Петербург, 197198
sc 57188236500
Timur R. Sabirov — PhD, Senior Lecturer
Saint Petersburg, 197198
sc 57188236500
Введение. Интерпретируемость моделей машинного обучения является ключевым условием доверия при внедрении технологий искусственного интеллекта. Традиционные методы объяснения обеспечивают формальную интерпретацию и представляют фрагментарные и трудно интерпретируемые результаты, что снижает прозрачность принятия решений. Для решения этой проблемы предлагается подход, основанный на использовании больших языковых моделей в сочетании с технологией дополненного поиска, обеспечивающей привлечение внешних знаний и повышающей связность объяснений. Отличительной особенностью подхода является ориентация на семантическую согласованность, стабильность интерпретаций и понятность для пользователя. Метод. В представленном подходе большая языковая модель выступает в качестве интерпретатора, формирующего объяснения на основе исходных данных модели и внешних знаний, получаемых через дополненный поиск. Подход включает механизм генерации человеческо-читаемых объяснений, верификацию интерпретируемых признаков (токенов) и оценку устойчивости выводов. В результате формируются выводы, согласованные с контекстом предметной области. Основные результаты. Эффективность подхода проверена на данных MITRE ATT&CK, представляющих стандартизированную информацию о киберугрозах. Сравнение с методом SHapley Additive exPlanations показало, что предложенный подход обеспечивает более высокую семантическую согласованность объяснений и большую устойчивость оценки важности признаков при сохранении сопоставимого уровня точности интерпретации. Экспериментальные результаты показали преимущество интерпретатора на основе больших языковых моделей в объяснимости и восприятии человеком.Обсуждение. Разработанный подход в сравнении с традиционными методами обеспечивает понятные и контекстно обоснованные объяснения. Полученные результаты делают предложенный метод перспективным для применения в системах, где критично объяснение причин принятия решений. Дальнейшие направления исследований включают интеграцию подхода в реальные системы принятия решений, исследование автоматического контроля достоверности объяснений и адаптацию подхода к различным архитектурам больших языковых моделей.
Interpretability of machine learning models is a key requirement for robustness in the implementation of artificial intelligence technologies. Traditional explanation methods provide formal interpretation and produce results that are fragmented and hard to interpret, reducing the transparency of decision making. To address this problem, a modern approach is proposed based on the use of large language models combined with augmented search, which ensures the involvement of external knowledge and increases the coherence of sequences. A distinctive feature of this approach is the focus on semantic consistency, the stability of interpretations, and user comprehensibility. In the presented approach, a large language model acts as an interpreter, generating explanations based on the model input data and external knowledge obtained through augmented search. The approach includes a mechanism for generating human-readable observations, verifying interpretable features (tokens), and assessing the robustness of inferences. As a result, inferences are generated that are consistent with the context of the subject domain. The effectiveness of the proposed approach is tested using MITRE ATT&CK data, which provides standardized information on cyber threats. A comparison with the SHapley Additive exPlanations method showed that the proposed approach provides higher semantic consistency of consequences and greater robustness of feature importance assessment while maintaining advanced level accuracy. Experimental results obtained by the interpreter based on large language models are in terms of human comprehensibility and perception. The developed approach, when considered with conservative methods, provides understandable and context-based explanations. The obtained results make the proposed method promising for application in economics where critical explanations of decision-making are essential. Future research includes integrating the solutions into real systems, investigating automatic validation of results, and adapting them to various large language model architectures.
The authors declare that there are no conflicts of interest present.