Роман Ростиславович Болозовский, аспирант
197022; Санкт-Петербург
Roman R. Bolozovskii, PhD Student
197022; Saint Petersburg
Алла Борисовна Левина, кандидат физико-математических наук, доцент, доцент кафедры
197022; Санкт-Петербург
sc 56427692900
Alla B. Levina, PhD (Physics & Mathematics), Associate professor, Associate Professor at the Department
197022; Saint Petersburg
sc 56427692900
Константин Сергеевич Красов, младший научный сотрудник
197022; Санкт-Петербург
Konstantin S. Krasov, Junior Researcher
197022; Saint Petersburg
Введение. Прогресс в области компьютерного зрения привел к созданию мощных моделей, способных точно распознавать и интерпретировать визуальную информацию в различных областях знаний. На этом фоне растет уязвимость таких моделей к состязательным атакам — преднамеренному манипулированию входными данными с целью исказить модель машинного обучения и привести к неверным результатам распознавания. В работе приведены результаты исследования влияния различных типов состязательных атак на модель ResNet50 в задачах классификации и кластеризации изображений.
Метод. Исследованы следующие типы состязательных атак: метод быстрого градиентного знака, базовый итерационный метод, метод проецируемого градиентного спуска, метод Карлини и Вагнера, состязательная атака с использованием Elastic-Net, Expectation Over Transformation Predicted Gradient Descent, атаки на основе джиттера. Для визуализации областей внимания модели применен метод Gradient-Weighted Class Activation Mapping (Grad-CAM). Для визуализации кластеров в пространстве признаков использован алгоритм t-SNE. Устойчивость к атакам оценивалась по показателям успешности атак с использованием алгоритмов k-ближайших соседей иерархического маленького мира с различными метриками сходства.
Основные результаты. Выявлены существенные различия в воздействии атак на внутренние представления модели и области фокусировки внимания. Показано, что итеративные методы атак вызывают значительные изменения в пространстве признаков и заметно влияют на визуализации Grad-CAM, тогда как простые атаки оказывают меньшее воздействие. Установлена высокая чувствительность большинства алгоритмов кластеризации к возмущениям. Наибольшую устойчивость среди исследованных подходов показала метрика внутреннего произведения.
Обсуждение. Полученные результаты указывают на зависимость устойчивости модели от параметров атак и выбора метрик сходства, что проявляется в особенностях формирования кластерных структур. Выявленные закономерности в перераспределении пространства признаков в условиях целенаправленных атак открывают перспективы для дальнейшей оптимизации алгоритмов кластеризации, способных обеспечить более высокую степень защиты систем компьютерного зрения.
Advances in computer vision have led to the development of powerful models capable of accurately recognizing and interpreting visual information in various fields of knowledge. However, these models are increasingly vulnerable to adversarial attacks – deliberate manipulations of input data designed to mislead the machine-learning model and produce incorrect recognition results. This article presents the results of an investigation into the impact of various types of adversarial attacks on the ResNet50 model in image classification and clustering tasks. Various types of adversarial attacks have been investigated: Fast Gradient Sign Method, Basic Iterative Method, Projected Gradient Descent, Carlini&Wagner, Elastic-Net Attacks to Deep Neural Networks, Expectation Over Transformation Projected Gradient Descent, and jitter-based attacks. The Gradient-Weighted Class Activation Mapping (Grad-CAM) method was used to visualize the attention areas of the model. The t-SNE algorithm was applied to visualize clusters in the feature space. Attack robustness was assessed by attack success rate using k-Nearest Neighbors algorithm and Hierarchical Navigable Small World algorithms with different similarity metrics. Significant differences in the effects of attacks on the internal representations of the model and areas of focus have been identified. It is shown that iterative attack methods cause significant changes in the feature space and significantly affect Grad-CAM visualizations, whereas simple attacks have less impact. The high sensitivity of most clustering algorithms to perturbations has been established. The metric of the inner product showed the greatest stability among the studied approaches. The results obtained indicate the dependence of the stability of the model on the attack parameters and the choice of similarity metrics, which is manifested in the peculiarities of the formation of cluster structures. The observed feature-space redistributions under targeted attacks suggest avenues for further optimizing clustering algorithms to enhance the resilience of computer-vision systems.
The authors declare that there are no conflicts of interest present.