ntvНаучно-технический вестник информационных технологий, механики и оптикиScientific and Technical Journal of Information Technologies, Mechanics and Optics2226-14942500-0373Университет ИТМО10.17586/2226-1494-2024-24-6-1066-1070ntv-414Research ArticleКРАТКИЕ СООБЩЕНИЯBRIEF PAPERSАнализ уязвимости нейросетевых моделей YOLO к атаке Fast Sign Gradient MethodAnalysis of the vulnerability of YOLO neural network models to the Fast Sign Gradient Method attackhttps://orcid.org/0009-0001-3394-9883ТетеревН. В.TeterevN. V.

Тетерев Николай Валерьевич - младший научный сотрудник, Санкт-Петербург, 197022;

инженер, Санкт-Петербург, 194021

Nikolai V. Teterev - Junior Researcher, Saint Petersburg, 197022;

Engineer, Saint Petersburg, 194021

teterevkolya21@gmail.comhttps://orcid.org/0009-0002-5839-2812ТрифоновВ. Е.TrifonovV. E.

Трифонов Владислав Евгеньевич - младший научный сотрудник,

Санкт-Петербург, 197022

Vladislav E. Trifonov - Junior Researcher,

Saint Petersburg, 197022

vtr1f0nov@yandex.ruhttps://orcid.org/0000-0003-4421-2411ЛевинаА. Б.LevinaA. B.

Левина Алла Борисовна - кандидат физико-математических наук, доцент, доцент,

Санкт-Петербург, 197022

Alla B. Levina - PhD (Physica & Mathematics), Associate Professor, Associate Professor,

Saint Petersburg, 197022

Alla_levina@mail.ruСанкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина); АО «Научно-инженерный центр Санкт-Петербургского электротехнического университета»РоссияSaint Petersburg Electrotechnical University “LETI”; Research & Engineering Center JSC “R&EC ETU”Russian FederationСанкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина)РоссияSaint Petersburg Electrotechnical University “LETI”Russian Federation20242912202424610661070Copyright © Тетерев Н.В., Трифонов В.Е., Левина А.Б., 20242024Тетерев Н.В., Трифонов В.Е., Левина А.Б.Teterev N.V., Trifonov V.E., Levina A.B.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ntv.elpub.ru/jour/article/view/414

Представлен анализ формализованных условий создания универсальных изображений, ложно классифицируемых алгоритмами компьютерного зрения, называемыми состязательными примерами, на нейросетевые модели YOLO. Выявлена и исследована закономерность успешного создания универсального деструктивного изображения в зависимости от сгенерированного набора данных, на котором происходило обучение нейронных сетей с помощью атаки Fast Sign Gradient Method. Указанная закономерность продемонстрирована для моделей классификатора YOLO8, YOLO9, YOLO10, YOLO11, обученных на стандартном наборе данных COCO.

The analysis of formalized conditions for creating universal images falsely classified by computer vision algorithms, called adversarial examples, on YOLO neural network models is presented. The pattern of successful creation of a universal destructive image depending on the generated dataset on which neural networks were trained using the Fast Sign Gradient Method attack is identified and studied. The specified pattern is demonstrated for YOLO8, YOLO9, YOLO10, YOLO11 classifier models trained on the standard COCO dataset.

генеративные атакисостязательный примерYOLOCOCOнабор данныхнейронная сетьadversarial attacksadversarial exampleYOLOCOCOdatasetneural networkРабота выполнена в рамках государственного задания Министерства науки и высшего образования Российской Федерации № 075-00003-24-01 от 08.02.2024 (проект FSEE-2024-0003).The work was performed within the framework of the state assignment of the Ministry of Science and Higher Education of the Russian Federation No. 075-00003-24-01 dated 08.02.2024 (FSEE-2024-0003 project).ReferencesChakraborty A., Alam M., Dey V., Chattopadhyay A., Mukhopadhyay D. Adversarial attacks and defences: A survey // arXiv. 2018. arXiv:1810.00069v1. https://doi.org/10.48550/arXiv.1810.00069Chakraborty A., Alam M., Dey V., Chattopadhyay A., Mukhopadhyay D. Adversarial attacks and defences: A survey. arXiv, 2018, arXiv:1810.00069v1. https://doi.org/10.48550/arXiv.1810.00069Akhtar N., Mian A. Threat of adversarial attacks on deep learning in computer vision: A survey // IEEE Access. 2018. V. 6. P. 14410– 14430. https://doi.org/10.1109/access.2018.2807385Akhtar N., Mian A. Threat of adversarial attacks on deep learning in computer vision: A survey. IEEE Access, 2018, vol. 6, pp. 14410– 14430. https://doi.org/10.1109/access.2018.2807385Goodfellow I., Shlens J., Szegedy C. Explaining and harnessing adversarial examples // Proc. of the 3rd International Conference on Learning Representations, ICLR 2015. 2015.Goodfellow I., Shlens J., Szegedy C. Explaining and harnessing adversarial examples. Proc. of the 3rd International Conference on Learning Representations, ICLR 2015, 2015.Zhang C., Zhang H., Hsieh C.-J. An efficient adversarial attack for tree ensembles // Advances in Neural Information Processing Systems. 2020. V. 33.Zhang C., Zhang H., Hsieh C.-J. An efficient adversarial attack for tree ensembles. Advances in Neural Information Processing Systems, 2020, vol. 33.Xiong P., Tegegn M., Sarin J.S., Pal S., Rubin J. It is all about data: A survey on the effects of data on adversarial robustness // ACM Computing Surveys. 2024. V. 56. N 7. P. 1–41. https://doi.org/10.1145/3627817Xiong P., Tegegn M., Sarin J.S., Pal S., Rubin J. It is all about data: A survey on the effects of data on adversarial robustness. ACM Computing Surveys, 2024, vol. 56, no. 7, pp. 1–41. https://doi.org/10.1145/3627817Zuo C. Regularization effect of fast gradient sign method and its generalization // arXiv. 2018. arXiv:1810.11711. https://doi.org/10.48550/arXiv.1810.11711Zuo C. Regularization effect of fast gradient sign method and its generalization. arXiv, 2018, arXiv:1810.11711. https://doi.org/10.48550/arXiv.1810.11711Yosinski J., Clune J., Nguyen A., Fuchs T., Lipson H. Understanding neural networks through deep visualization // arXiv. 2015. arXiv:1506.06579v1. https://doi.org/10.48550/arXiv.1506.06579Yosinski J., Clune J., Nguyen A., Fuchs T., Lipson H. Understanding neural networks through deep visualization. arXiv, 2015, arXiv:1506.06579v1. https://doi.org/10.48550/arXiv.1506.06579Carlini N., Wagner D. Towards evaluating the robustness of neural networks // Proc. of the IEEE Symposium on Security and Privacy (SP). 2017. P. 39–57. https://doi.org/10.1109/sp.2017.49Carlini N., Wagner D. Towards evaluating the robustness of neural networks. Proc. of the IEEE Symposium on Security and Privacy (SP), 2017, pp. 39–57. https://doi.org/10.1109/sp.2017.49Li Z., Chen P.-Y., Liu S., Lu S., Xu Y. Zeroth-order optimization for composite problems with functional constraints // Proceedings of the AAAI Conference on Artificial Intelligence. 2022. V. 36. N 7. P. 7453–7461. https://doi.org/10.1609/aaai.v36i7.20709Li Z., Chen P.-Y., Liu S., Lu S., Xu Y. Zeroth-order optimization for composite problems with functional constraints. Proceedings of the AAAI Conference on Artificial Intelligence, 2022, vol. 36, no. 7, pp. 7453–7461. https://doi.org/10.1609/aaai.v36i7.20709Guo C., Gardner J., You Y., Wilson A., Weinberger K. Simple blackbox adversarial attacks // Proceedings of Machine Learning Research. 2019. V. 97. P. 2484–2493.Guo C., Gardner J., You Y., Wilson A., Weinberger K. Simple blackbox adversarial attacks. Proceedings of Machine Learning Research, 2019, vol. 97, pp. 2484–2493.

The authors declare that there are no conflicts of interest present.