Preview

Научно-технический вестник информационных технологий, механики и оптики

Расширенный поиск

Подход к применению больших языковых моделей с дополненным поиском для повышения интерпретируемости моделей машинного обучения

https://doi.org/10.17586/2226-1494-2026-26-1-69-76

Аннотация

Введение. Интерпретируемость моделей машинного обучения является ключевым условием доверия при внедрении технологий искусственного интеллекта. Традиционные методы объяснения обеспечивают формальную интерпретацию и представляют фрагментарные и трудно интерпретируемые результаты, что снижает прозрачность принятия решений. Для решения этой проблемы предлагается подход, основанный на использовании больших языковых моделей в сочетании с технологией дополненного поиска, обеспечивающей привлечение внешних знаний и повышающей связность объяснений. Отличительной особенностью подхода является ориентация на семантическую согласованность, стабильность интерпретаций и понятность для пользователя. 
Метод. В представленном подходе большая языковая модель выступает в качестве интерпретатора, формирующего объяснения на основе исходных данных модели и внешних знаний, получаемых через дополненный поиск. Подход включает механизм генерации человеческо-читаемых объяснений, верификацию интерпретируемых признаков (токенов) и оценку устойчивости выводов. В результате формируются выводы, согласованные с контекстом предметной области. 
Основные результаты. Эффективность подхода проверена на данных MITRE ATT&CK, представляющих стандартизированную информацию о киберугрозах. Сравнение с методом SHapley Additive exPlanations показало, что предложенный подход обеспечивает более высокую семантическую согласованность объяснений и большую устойчивость оценки важности признаков при сохранении сопоставимого уровня точности интерпретации. Экспериментальные результаты показали преимущество интерпретатора на основе больших языковых моделей в объяснимости и восприятии человеком.
Обсуждение. Разработанный подход в сравнении с традиционными методами обеспечивает понятные и контекстно обоснованные объяснения. Полученные результаты делают предложенный метод перспективным для применения в системах, где критично объяснение причин принятия решений. Дальнейшие направления исследований включают интеграцию подхода в реальные системы принятия решений, исследование автоматического контроля достоверности объяснений и адаптацию подхода к различным архитектурам больших языковых моделей.

Об авторах

Р. Д. Иванов
Военно-космическая академия имени А.Ф. Можайского
Россия

Иванов Роман Дмитриевич — старший помощник начальника
отдела, младший научный сотрудник

Санкт-Петербург, 197198



А. Б. Менисов
Военно-космическая академия имени А.Ф. Можайского
Россия

Менисов Артем Бакытжанович — доктор технических наук,
старший преподаватель

Санкт-Петербург, 197198

sc 57220815185



О. А. Мишуков
Военно-космическая академия имени А.Ф. Можайского
Россия

Мишуков Олег Александрович — кандидат технических наук,
старший преподаватель

Санкт-Петербург, 197198



Т. Р. Сабиров
Военно-космическая академия имени А.Ф. Можайского
Россия

Сабиров Тимур Римович — кандидат технических наук, старший преподаватель

Санкт-Петербург, 197198

sc 57188236500



Список литературы

1. Yang Y., Zhang Y., Sun D., He W., Wei Y. Navigating the landscape of AI literacy education: insights from a decade of research (2014– 2024) // Humanities and Social Sciences Communications. 2025. V. 12. N 1. P. 374. https://doi.org/10.1057/s41599-025-04583-8

2. Mon-Williams R., Li G., Long R., Du W., Lucas C.G. Embodied large language models enable robots to complete complex tasks in unpredictable environments // Nature Machine Intelligence. 2025. V. 7. N 4. P. 592–601. https://doi.org/10.1038/s42256-025-01005-x

3. Brandenburg J.M., Müller-Stich B.P., Wagner M., van der Schaar M. Can surgeons trust AI? Perspectives on machine learning in surgery and the importance of eXplainable Artificial Intelligence (XAI) // Langenbeck’s Archives of Surgery. 2025. V. 410. N 1. P. 53. https://doi.org/10.1007/s00423-025-03626-7

4. Kalasampath K., Spoorthi K.N., Sajeev S., Kuppa S.S., Ajay K., Maruthamuthu A. A Literature review on applications of explainable artificial intelligence (XAI) // IEEE Access. 2025. V. 13. P. 41111–41140. https://doi.org/10.1109/access.2025.3546681

5. Kalmykov V.L., Kalmykov L.V. Towards eXplicitly eXplainable Artificial Intelligence // Information Fusion. 2025. V. 123. P. 103352. https://doi.org/10.1016/j.inffus.2025.103352

6. Mohanty P.K., Francis S.A.J., Barik R.K., Reddy K.H.K., Roy D.S., Saikia M.J. IMPACT: an interactive multi-disease prevention and counterfactual treatment system using explainable AI and a multimodal LLM // PeerJ Computer Science. 2025. V. 11. P. e2839. https://doi.org/10.7717/peerj-cs.2839

7. Gadekallu T.R., Yenduri G., Kaluri R., Rajput D.S., Lakshmanna K., Fang K., Chen J.X., Wang W. The role of GPT in promoting inclusive higher education for people with various learning disabilities: a review // PeerJ Computer Science. 2025. V. 11. P. e2400. https://doi.org/10.7717/peerj-cs.2400

8. Aydin O., Karaarslan E., Erenay F.S., Bacaninet N. Generative AI in academic writing: A comparison of DeepSeek, Qwen, ChatGPT, Gemini, Llama, Mistral, and Gemma // arXiv. 2025. arXiv:2503.04765. https://doi.org/10.48550/arXiv.2503.04765

9. Kamath A., Ferret J., Pathak S., Vieillard N., Merhej R., Perrin S., et al. Gemma 3 technical report // arXiv. 2025. arXiv:2503.19786. https://doi.org/10.48550/arXiv.2503.19786

10. Dwivedi R., Dave D., Naik H., Singhal S., Omer R., Patel P., et al. Explainable AI (XAI): core ideas, techniques, and solutions // ACM Computing Surveys. 2023. V. 55. N 9. P. 194. https://doi.org/10.1145/3561048

11. Salih A.M., Raisi-Estabragh Z., Galazzo I.B., Radeva P., Petersen S.E., Lekadir K., Menegaz G. A perspective on explainable artificial intelligence methods: SHAP and LIME // Advanced Intelligent Systems. 2025. V. 7. N 1. P. 2400304. https://doi.org/10.1002/aisy.202400304

12. Mersha M.A., Yigezu M.G., Tonja A.L., Shakil H., Iskander S., Kolesnikova O., Kalita J. Explainable AI: XAI-guided context-aware data augmentation // Expert Systems with Applications. 2025. V. 289. P. 128364. https://doi.org/10.1016/j.eswa.2025.128364

13. Ng K.K.Y., Matsuba I., Zhang P.C. RAG in health care: a novel framework for improving communication and decision-making by addressing LLM limitations // NEJM AI. 2025. V. 2. N 1. P. 2400380. https://doi.org/10.1056/AIra2400380

14. Strom B.E., Applebaum A., Miller D.P., Nickels K.C., Pennington A.G., Thomas C.B. MITRE ATT&C


Рецензия

Для цитирования:


Иванов Р.Д., Менисов А.Б., Мишуков О.А., Сабиров Т.Р. Подход к применению больших языковых моделей с дополненным поиском для повышения интерпретируемости моделей машинного обучения. Научно-технический вестник информационных технологий, механики и оптики. 2026;26(1):69-76. https://doi.org/10.17586/2226-1494-2026-26-1-69-76

For citation:


Ivanov R.D., Menisov A.B., Mishukov O.A., Sabirov T.R. An approach to using large language models with augmented search to improve the interpretability of machine learning models. Scientific and Technical Journal of Information Technologies, Mechanics and Optics. 2026;26(1):69-76. (In Russ.) https://doi.org/10.17586/2226-1494-2026-26-1-69-76

Просмотров: 231

JATS XML


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 2226-1494 (Print)
ISSN 2500-0373 (Online)