ntvНаучно-технический вестник информационных технологий, механики и оптикиScientific and Technical Journal of Information Technologies, Mechanics and Optics2226-14942500-0373Университет ИТМО10.17586/2226-1494-2025-25-1-128-139ntv-428Research ArticleКОМПЬЮТЕРНЫЕ СИСТЕМЫ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИCOMPUTER SCIENCEОбнаружение неконвенциональных пиксельных атак посредством статистического анализа распределения оценок аномальностиDetection of L0-optimized attacks via anomaly scores distribution analysishttps://orcid.org/0000-0003-4467-5117ЕсиповД. А.EsipovD. A.

Есипов Дмитрий Андреевич — ассистент

Санкт-Петербург, 197101

Dmitry A. Esipov — Assistant

Saint Petersburg, 197101

some1else.d.ma@gmail.comhttps://orcid.org/0009-0000-0844-6881БасовМ. И.BasovM. I.

Басов Марк Игоревич — студент

Санкт-Петербург, 197101

Mark I. Basov — Student

Saint Petersburg, 197101

basovmark@gmail.comhttps://orcid.org/0009-0001-8148-6764КлетенковаА. Д.KletenkovaA. D.

Клетенкова Алёна Дмитриевна — студент

Санкт-Петербург, 197101

Alyona D. Kletenkova — Student

Saint Petersburg, 197101

alyonka8855@gmail.comУниверситет ИТМОРоссияITMO UniversityRussian Federation202527022025251128139Copyright © Есипов Д.А., Басов М.И., Клетенкова А.Д., 20252025Есипов Д.А., Басов М.И., Клетенкова А.Д.Esipov D.A., Basov M.I., Kletenkova A.D.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ntv.elpub.ru/jour/article/view/428

Введение. Распространение искусственного интеллекта и методов машинного обучения сопровождается увеличением количества уязвимостей и угроз в системах, реализующих подобные технологии. Значительную опасность для таких систем представляют атаки на основе вредоносных возмущений. Для защиты от них разработаны различные решения, к числу которых относятся подход к обнаружению неконвенциональной пиксельной атаки на нейронные сети обработки изображений методами статистического анализа и алгоритм обнаружения таких атак посредством отсечения по порогу. Недостатком алгоритма отсечения по порогу является необходимость определения значения параметра (порога отсечения) для обнаружения различных атак и учета специфики наборов данных, что затрудняет его применение на практике. В работе изложен метод обнаружения неконвенциональных пиксельных атак на нейронные сети обработки изображений посредством статистического анализа распределения оценок аномальности. Метод. Для выявления искажения, свойственного неконвенциональным пиксельным атакам, определяются отклонения от ближайших соседей и расстояния Махаланобиса. По их значениям вычисляется матрица оценок аномальности пикселов изображения. Предполагается, что статистическое распределение оценок аномальности пикселов различно для атакованных и неатакованных изображений и для возмущений, встраиваемых при различных атаках. В этом случае атаки могут быть обнаружены посредством анализа статистических характеристик распределения оценок аномальности. Полученные характеристики используются в качестве предикторов для обучения моделей обнаружения аномалий и классификации изображений. Основные результаты. Апробация метода выполнена на наборах данных CIFAR-10, MNIST и ImageNet. Разработанный метод продемонстрировал высокое качество обнаружения и классификации атак. На наборе данных CIFAR-10 точность (accuracy) обнаружения атак (аномалий) составила 98,43 %, а бинарной и многоклассовой классификаций — 99,51 % и 99,07 % соответственно. Обсуждение. Несмотря на то, что точность обнаружения аномалий ниже аналогичного показателя многоклассовой классификации, предложенный метод позволяет успешно применять его для распознавания принципиально схожих атак, не содержащихся в обучающей выборке. Для обнаружения и классификации атак используются только входные данные, в результате чего предложенный метод потенциально может быть использован независимо от архитектуры модели или наличия целевой нейронной сети. Метод может быть рекомендован для обнаружения изображений, искаженных неконвенциональными пиксельными атаками в обучающей выборке.

The spread of artificial intelligence and machine learning is accompanied by an increase in the number of vulnerabilities and threats in systems implementing such technologies. Attacks based on malicious perturbations pose a significant threat to such systems. Various solutions have been developed to protect against them, including an approach to detecting L0- optimized attacks on neural image processing networks using statistical analysis methods and an algorithm for detecting such attacks by threshold clipping. The disadvantage of the threshold clipping algorithm is the need to determine the value of the parameter (cutoff threshold) to detect various attacks and take into account the specifics of the data sets, which makes it difficult to apply in practice. This article describes a method for detecting L0-optimized attacks on neural image processing networks through statistical analysis of the distribution of anomaly scores. To identify the distortion inherent in L0-optimized attacks, deviations from the nearest neighbors and Mahalanobis distances are determined. Based on their values, a matrix of pixel anomaly scores is calculated. It is assumed that the statistical distribution of pixel anomaly scores is different for attacked and non-attacked images and for perturbations embedded in various attacks. In this case, attacks can be detected by analyzing the statistical characteristics of the distribution of anomaly scores. The obtained characteristics are used as predictors for training anomaly detection and image classification models. The method was tested on the CIFAR-10, MNIST and ImageNet datasets. The developed method demonstrated the high quality of attack detection and classification. On the CIFAR-10 dataset, the accuracy of detecting attacks (anomalies) was 98.43 %, while the binary and multiclass classifications were 99.51 % and 99.07 %, respectively. Despite the fact that the accuracy of anomaly detection is lower than that of a multiclass classification, the method allows it to be used to distinguish fundamentally similar attacks that are not contained in the training sample. Only input data is used to detect and classify attacks, as a result of which the proposed method can potentially be used regardless of the architecture of the model or the presence of the target neural network. The method can be applied for detecting images distorted by L0-optimized attacks in a training sample.

искусственная нейронная сетьобработка изображенийсостязательная атакаобнаружение атаквредоносное возмущениепсевдонорма возмущения L0статистический анализоценка аномальностиartificial neural networkimage processingadversarial attackattack detectionpseudonorm L0malicious perturbationstatistical analysisanomaly scoreReferencesЕсипов Д.А., Бучаев А.Я., Керимбай А., Пузикова Я.В., Сайдумаров С.К., Сулименко Н.С., Попов И.Ю., Кармановский Н.С. Атаки на основе вредоносных возмущений на системы обработки изображений и методы защиты от них // Научно-технический вестник информационных технологий, механики и оптики. 2023. Т. 23. № 4. С. 720–733. https://doi.org/10.17586/2226-1494-2023-23-4-720-733Esipov D.A., Buchaev A.Y., Kerimbay A., Puzikova Y.V., Saidumarov S.K., Sulimenko N.S., Popov I.Yu., Karmanovskiy N.S. Attacks based on malicious perturbations on image processing systems and defense methods against them. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2023, vol. 23, no. 4, pp. 720–733. (in Russian). https://doi.org/10.17586/2226-1494-2023-23-4-720-733Esipov D.A. An approach to detecting L0-optimized attacks on image processing neural networks via means of mathematical statistics // Scientific and Technical Journal of Information Technologies, Mechanics and Optics. 2024. V. 24. N 3. P. 490–499. https://doi.org/10.17586/2226-1494-2024-24-3-490-499fEsipov D.A. An approach to detecting L0-optimized attacks on image processing neural networks via means of mathematical statistics // Scientific and Technical Journal of Information Technologies, Mechanics and Optics. 2024. V. 24. N 3. P. 490–499. https://doi.org/10.17586/2226-1494-2024-24-3-490-499fNguyen-Son H.Q., Thao T.P., Hidano S., Bracamonte V., Kiyomoto S., Yamaguchi R.S. Opa2d: One-pixel attack, detection, and defense in deep neural networks // Proc. of the International Joint Conference on Neural Networks (IJCNN). 2021. P. 1–10. https://doi.org/10.1109/IJCNN52387.2021.9534332Nguyen-Son H.Q., Thao T.P., Hidano S., Bracamonte V., Kiyomoto S., Yamaguchi R.S. Opa2d: One-pixel attack, detection, and defense in deep neural networks // Proc. of the International Joint Conference on Neural Networks (IJCNN). 2021. P. 1–10. https://doi.org/10.1109/IJCNN52387.2021.9534332Alatalo J., Sipola T., Kokkonen T. Detecting One-Pixel Attacks Using Variational Autoencoders // Lecture Notes in Networks and Systems. 2022. V. 468 P. 611–623. https://doi.org/10.1007/978-3-031-04826-5_60Alatalo J., Sipola T., Kokkonen T. Detecting One-Pixel Attacks Using Variational Autoencoders // Lecture Notes in Networks and Systems. 2022. V. 468 P. 611–623. https://doi.org/10.1007/978-3-031-04826-5_60Wang P., Cai Z., Kim D., Li W. Detection mechanisms of one-pixel attack // Wireless Communications and Mobile Computing. 2021. V. 2021. N 1. P. 8891204. https://doi.org/10.1155/2021/8891204Wang P., Cai Z., Kim D., Li W. Detection mechanisms of one-pixel attack // Wireless Communications and Mobile Computing. 2021. V. 2021. N 1. P. 8891204. https://doi.org/10.1155/2021/8891204Grosse K., Manoharan P., Papernot N., Backes M., McDaniel P. On the (statistical) detection of adversarial examples // arXiv. 2017. arXiv:1702.06280. https://doi.org/10.48550/arXiv.1702.06280Grosse K., Manoharan P., Papernot N., Backes M., McDaniel P. On the (statistical) detection of adversarial examples // arXiv. 2017. arXiv:1702.06280. https://doi.org/10.48550/arXiv.1702.06280Guo F., Zhao Q., Li X., Kuang X., Zhang J., Han Y., Tan Y.A. Detecting adversarial examples via prediction difference for deep neural networks // Information Sciences. 2019. V. 501. P. 182–192. https://doi.org/10.1016/j.ins.2019.05.084Guo F., Zhao Q., Li X., Kuang X., Zhang J., Han Y., Tan Y.A. Detecting adversarial examples via prediction difference for deep neural networks // Information Sciences. 2019. V. 501. P. 182–192. https://doi.org/10.1016/j.ins.2019.05.084Su J., Vargas D.V., Sakurai K. One pixel attack for fooling deep neural networks // IEEE Transactions on Evolutionary Computation. 2019. V. 23. N 5. P. 828–841. https://doi.org/10.1109/TEVC.2019.2890858Su J., Vargas D.V., Sakurai K. One pixel attack for fooling deep neural networks // IEEE Transactions on Evolutionary Computation. 2019. V. 23. N 5. P. 828–841. https://doi.org/10.1109/TEVC.2019.2890858Papernot N., McDaniel P., Jha S., Fredrikson M., Celik Z.B., Swami A. The limitations of deep learning in adversarial settings // Proc. of the IEEE European symposium on security and privacy (EuroS&P). 2016. P. 372–387. https://doi.org/10.1109/EuroSP.2016.36Papernot N., McDaniel P., Jha S., Fredrikson M., Celik Z.B., Swami A. The limitations of deep learning in adversarial settings // Proc. of the IEEE European symposium on security and privacy (EuroS&P). 2016. P. 372–387. https://doi.org/10.1109/EuroSP.2016.36Karmon D., Zoran D., Goldberg Y. Lavan: Localized and visible adversarial noise // arXiv. 2018. arXiv:1801.02608. https://doi.org/10.48550/arXiv.1801.02608Karmon D., Zoran D., Goldberg Y. Lavan: Localized and visible adversarial noise // arXiv. 2018. arXiv:1801.02608. https://doi.org/10.48550/arXiv.1801.02608Lampert C.H. Kernel methods in computer vision // Foundations and Trends in Computer Graphics and Vision. 2009. V. 4. N 3. P. 193–285. http://dx.doi.org/10.1561/0600000027Lampert C.H. Kernel methods in computer vision // Foundations and Trends in Computer Graphics and Vision. 2009. V. 4. N 3. P. 193–285. http://dx.doi.org/10.1561/0600000027Bounsiar A., Madden M.G. One-class support vector machines revisited // Proc. of the 5th International Conference on Information Science & Applications (ICISA). 2014. P. 1–4. https://doi.org/10.1109/ICISA.2014.6847442Bounsiar A., Madden M.G. One-class support vector machines revisited // Proc. of the 5th International Conference on Information Science & Applications (ICISA). 2014. P. 1–4. https://doi.org/10.1109/ICISA.2014.6847442Tax D.M.J., Duin R.P.W. Support vector data description. Machine Learning. 2004. V. 54. N 1. P. 45–66. https://doi.org/10.1023/B:MACH.0000008084.60811.49Tax D.M.J., Duin R.P.W. Support vector data description. Machine Learning. 2004. V. 54. N 1. P. 45–66. https://doi.org/10.1023/B:MACH.0000008084.60811.49Liu F.T., Ting K.M., Zhou Z.H. Isolation forest // Proc. of the 8th IEEE International Conference on Data Mining. 2008. P. 413–422. https://doi.org/10.1109/ICDM.2008.17Liu F.T., Ting K.M., Zhou Z.H. Isolation forest // Proc. of the 8th IEEE International Conference on Data Mining. 2008. P. 413–422. https://doi.org/10.1109/ICDM.2008.17Ji Y., Wang Q., Li X., Liu J. A survey on tensor techniques and applications in machine learning // IEEE Access. 2019. V. 7. P. 162950–162990. https://doi.org/10.1109/ACCESS.2019.2949814Ji Y., Wang Q., Li X., Liu J. A survey on tensor techniques and applications in machine learning // IEEE Access. 2019. V. 7. P. 162950–162990. https://doi.org/10.1109/ACCESS.2019.2949814Howard S. The Elliptical Envelope // arXiv. 2007. arXiv:math/0703048. https://doi.org/10.48550/arXiv.math/0703048Howard S. The Elliptical Envelope // arXiv. 2007. arXiv:math/0703048. https://doi.org/10.48550/arXiv.math/0703048Ashrafuzzaman M., Das S., Jillepalli A.A., Chakhchoukh Y., Sheldon F.T. Elliptic envelope based detection of stealthy false data injection attacks in smart grid control systems // Proc. of the IEEE Symposium Series on Computational Intelligence (SSCI). 2020. P. 1131–1137. https://doi.org/10.1109/SSCI47803.2020.9308523Ashrafuzzaman M., Das S., Jillepalli A.A., Chakhchoukh Y., Sheldon F.T. Elliptic envelope based detection of stealthy false data injection attacks in smart grid control systems // Proc. of the IEEE Symposium Series on Computational Intelligence (SSCI). 2020. P. 1131–1137. https://doi.org/10.1109/SSCI47803.2020.9308523Hearst M.A., Dumais S.T., Osuna E., Platt J., Scholkopf B. Support vector machines // IEEE Intelligent Systems and their applications. 1998. V. 13. N 4. P. 18–28. https://doi.org/10.1109/5254.708428Hearst M.A., Dumais S.T., Osuna E., Platt J., Scholkopf B. Support vector machines // IEEE Intelligent Systems and their applications. 1998. V. 13. N 4. P. 18–28. https://doi.org/10.1109/5254.708428Ho T.K. The random subspace method for constructing decision forests // IEEE transactions on pattern analysis and machine intelligence. 1998. V. 20. N 8. P. 832–844. https://doi.org/10.1109/34.709601Ho T.K. The random subspace method for constructing decision forests // IEEE transactions on pattern analysis and machine intelligence. 1998. V. 20. N 8. P. 832–844. https://doi.org/10.1109/34.709601Wright R.E. Logistic regression // Reading and understanding multivariate statistics. American Psychological Association, 1995. P. 217–244.Wright R.E. Logistic regression // Reading and understanding multivariate statistics. American Psychological Association, 1995. P. 217–244.Pedregosa F., Varoquaux G., Gramfort A., Michel V., Thirion B., Grisel O., Blondel M., Prettenhofer P., Weiss R., Dubourg V., Vanderplas J., Passos A., Cournapeau D., Brucher M., Perrot M., Duchesnay É. Scikit-learn: Machine learning in Python // Journal of Machine Learning Research. 2011. V. 12. P. 2825–2830.Pedregosa F., Varoquaux G., Gramfort A., Michel V., Thirion B., Grisel O., Blondel M., Prettenhofer P., Weiss R., Dubourg V., Vanderplas J., Passos A., Cournapeau D., Brucher M., Perrot M., Duchesnay É. Scikit-learn: Machine learning in Python // Journal of Machine Learning Research. 2011. V. 12. P. 2825–2830.Sedgwick P. Pearson’s correlation coefficient // British Medical Journal. 2012. V. 345. P. e4483. https://doi.org/10.1136/bmj.e4483Sedgwick P. Pearson’s correlation coefficient // British Medical Journal. 2012. V. 345. P. e4483. https://doi.org/10.1136/bmj.e4483Abd Al-Hameeda K.A. Spearman's correlation coefficient in statistical analysis // International Journal of Nonlinear Analysis and Applications. 2022. V. 13. N 1. P. 3249–3255. https://doi.org/10.22075/ijnaa.2022.6079Abd Al-Hameeda K.A. Spearman's correlation coefficient in statistical analysis // International Journal of Nonlinear Analysis and Applications. 2022. V. 13. N 1. P. 3249–3255. https://doi.org/10.22075/ijnaa.2022.6079Abdi H. The Kendall rank correlation coefficient // Encyclopedia of measurement and statistics. SAGE Publications, 2007. V. 2. P. 508–510.Abdi H. The Kendall rank correlation coefficient // Encyclopedia of measurement and statistics. SAGE Publications, 2007. V. 2. P. 508–510.Xu W., Hou Y., Hung Y.S., Zou Y. A comparative analysis of Spearman's rho and Kendall's tau in normal and contaminated normal models // Signal Processing. 2013. V. 93. N 1. P. 261–276. https://doi.org/10.1016/j.sigpro.2012.08.005Xu W., Hou Y., Hung Y.S., Zou Y. A comparative analysis of Spearman's rho and Kendall's tau in normal and contaminated normal models // Signal Processing. 2013. V. 93. N 1. P. 261–276. https://doi.org/10.1016/j.sigpro.2012.08.005

The authors declare that there are no conflicts of interest present.