Конев Антон Александрович — кандидат технических наук, доцент, заместитель директора Института системной интеграции и безопасности, доцент кафедры КИБЭВС
Томск, 634050
Anton A. Konev — PhD, Associate Professor, Deputy Director of the Institute of System Integration and Security, Associate Professor of the Department
Tomsk, 634050
Паюсова Татьяна Игоревна — доцент
Тюмень, 625003
Tatyana I. Payusova — Associate Professor
Tyumen, 625003
Введение. Развитие технологий искусственного интеллекта, в частности, больших языковых моделей ( Large Learning Model, LLM), привело к изменениям во многих сферах жизни и деятельности человека. Информационная безопасность также претерпела существенные изменения. Тестирование на проникновение (пентест) позволяет оценить систему защиты на практике в «боевых» условиях. LLM могут вывести практический анализ защищенности на качественно новый уровень с точки зрения автоматизации и возможности генерации нестандартных шаблонов атаки. Представленный в работе систематический обзор направлен на определение уже известных способов применения LLM в кибербезопасности, а также на выявление «белых пятен» в развитии технологии. Метод. Отбор исследуемых научных работ осуществлялся в соответствии с многоступенчатым руководством PRISMA на основании анализа аннотаций и ключевых слов публикаций. Полученная выборка была дополнена с помощью метода «снежного кома» и ручного поиска статей. Суммарное количество публикаций составило 50 работ с января 2023 г. по март 2024 г. Основные результаты. В работе выполнен анализ способов применения LLM в области информационной безопасности (поддержка целеполагания и принятия решений, автоматизация пентеста, анализ защищенности моделей LLM и программного кода). Определены архитектуры LLM (GPT-4, GPT-3.5, Bard, LLaMA, LLaMA 2, BERT, Mixtral 8×7B Instruct, FLAN, Bloom) и программные решения на базе LLM (GAIL-PT, AutoAttacker, NetSecGame, Cyber Sentinel, Microsoft Counterfit, GARD project, GPTFUZZER, VuRLE), применяемые в области информационной безопасности. Установлены ограничения (конечное «время жизни» данных для обучения LLM, недостаточные когнитивные способности языковых моделей, отсутствие самостоятельного целеполагания и сложности при адаптации LLM к новым параметрам задачи). Выявлены потенциальные точки роста и развития технологии в контексте киберзащиты (исключение «галлюцинаций» моделей и обеспечение защиты LLM от джейлбрейков, осуществление интеграции известных разрозненных решений и программная автоматизация выполнения задач в области информационной безопасности с помощью LLM). Обсуждение. Полученные результаты могут быть полезны при разработке собственных теоретических и практических решений, обучающих и тренировочных наборов данных, программных комплексов и инструментов для проведения тестирования на проникновение. Исследование поможет в реализации новых подходов к построению LLM и повышению их когнитивных способностей, учитывающих аспекты работы с джейлбрейками и «галлюцинациями», а также для самостоятельного дальнейшего многостороннего изучения вопроса.
The development of artificial intelligence technologies, in particular, large language models (LLM), has led to changes in many areas of human life and activity. Information security (IS) has also undergone significant changes. Penetration testing (pentest) allows evaluating the security system in practice in “combat” conditions. LLMs can take practical security analysis to a qualitatively new level in terms of automation and the ability to generate non-standard attack patterns. The presented systematic review is aimed at determining the already known ways of applying LLM in cybersecurity, as well as identifying “blank spots” in the development of technology. The selection of literature sources was carried out in accordance with the multi-stage PRISMA guidelines based on the analysis of abstracts and keywords of publications. The resulting sample was supplemented using the “snowball” method and manual search of articles. The total number of publications was 50 works from January 2023 to March 2024. The conducted research allowed to analyze the ways of using LLM in the field of information security (goal setting and decision-making support, pentest automation, security analysis of LLM models and program code), determine the LLM architectures (GPT-4, GPT-3.5, Bard, LLaMA, LLaMA 2, BERT, Mixtral 8×7B Instruct, FLAN, Bloom) and software solutions based on LLM used in the field of information security (GAIL-PT, AutoAttacker, NetSecGame, Cyber Sentinel, Microsoft Counterfit, GARD project, GPTFUZZER, VuRLE), to establish limitations (finite “lifetime” of data for LLM training, insufficient cognitive abilities of language models, lack of independent goal setting and difficulties in adapting LLM to new task parameters), identify potential growth points and development of technology in the context of cyber defense (elimination of “hallucinations” of models and ensuring protection of LLM from jailbreaks, implementation of integration of known disparate solutions and software automation of tasks in the field of information security using LLM). The presented results can be useful in developing theoretical and practical solutions, educational and training datasets, software packages and tools for penetration testing, new approaches to building LLM and improving their cognitive abilities, taking into account aspects of working with jailbreaks and “hallucinations”, as well as for independent further multilateral study of the issue.
The authors declare that there are no conflicts of interest present.