Метод геометрически-контролируемого прореживания модели сверточной нейронной сети без потери качества результата

Введение. Рассмотрена задача сжатия глубоких нейронных сетей на примере сверточных нейронных сетей (Convolutional Neural Network, CNN). Размеры глубоких нейронных сетей являются препятствием для их практического применения в условиях ограниченных вычислительных ресурсов, энергии и требований задержки инференса. Одним из развиваемых направлений сжатия моделей глубоких нейронных сетей является прореживание — удаление части параметров или структурных элементов модели нейронной сети. Показано, что прореживание является компромиссом между точностью классификации и вычислительной эффективностью. Метод. Предложен метод геометрически-контролируемого прореживания модели СNN, основанный на жадном выборе степени разреженности структуры CNN при ограничении на изменение геометрии представлений. Геометрия представлений определяется через матрицу попарных косинусных сходств между центроидами классов в пространстве признаков. Оценка качества работы представленного метода получена на сравнении с методом прореживания по глубине и без прореживания модели CNN по стандартным метрикам Top-1 и Top-5 точности классификации. Оценивание степени сжатия CNN выполнено по числу параметров, объему и вычислительной сложности модели нейронной сети, а также задержки инференса. Измерения задержки инференса проводились в одинаковых условиях при фиксированном размере входных данных. Основные результаты. Выполнена разработка нового метода сжатия CNN, основанного на геометрически-контролируемом прореживании модели CNN, в котором прореживание выполняется жадно по блокам CNN, а допустимость каждого шага определяется не только локальной важностью каналов, но и глобальным ограничением на изменение геометрии представлений. Эксперимент выполнен на CNN с архитектурой ResNet-50 и обучением на стандартном наборе данных CIFAR-100 для оценки методов сжатия и ускорения CNN. Результаты проведенного эксперимента демонстрируют устойчивое сохранение качества классификации у предложенного метода при сокращении вычислительной сложности и числа параметров по сравнению с базовым методом без использования прореживания и методом прореживания по глубине модели CNN. Разработанный метод демонстрирует сопоставимую точность Top-1 и Top-5 с базовой моделью после дообучения, одновременно снижая вычислительную сложность более чем в 2,5 раза и число параметров почти в два раза. Обсуждение. Представленный метод геометрически-контролируемого прореживания модели CNN может найти применение в задачах, требующих принятия решения в реальном времени, а также на мобильных и встраиваемых устройствах.

1. Dantas P.V., da Silva W.S., Cordeiro L.C., Carvalho C.B. A comprehensive review of model compression techniques in machine learning // Applied Intelligence. 2024. V. 54. N 22. P. 11804–11844. doi: 10.1007/s10489-024-05747-w

2. Богачев И.В., Булканов Д.Е. Обзор современных нейросетевых методов сжатия для задачи обработки измерительных данных // Вестник Тихоокеанского государственного университета. 2024. № 2 (73). C. 83–92. doi: 10.38161/1996-3440-2024-2-83-92

3. Татарникова Т.М., Мокрецов Н.С. Оптимизация моделей дистилляции знаний для языковых моделей // Научно-технический вестник информационных технологий, механики и оптики. 2025. Т. 25. № 4. C. 737–743. doi: 10.17586/2226-1494-2025-25-4-737-743

4. Houlsby N., Giurgiu A., Jastrzebski S., Morrone B., de Laroussilhe Q., Gesmundo A., et al. Parameter-efficient transfer learning for NLP // Proc. of the 36th International Conference on Machine Learning. 2019. V. 97. P. 2790–2799.

5. Chen J., Hu Y., Zhu J. S-STE: Continuous pruning function for efficient 2:4 sparse pre-training // Proc. of the 38th Conference on Neural Information Processing Systems (NeurIPS). 2024. P. 33756-33778. doi: 10.52202/079017-1063

6. Frantar E., Alistarh D. SparseGPT: massive language models can be accurately pruned in one-shot // Proc. of the 40th International Conference on Machine Learning. 2023. V. 202. P. 10323–10337.

7. Wang Z., Li C., Wang X. Convolutional neural network pruning with structural redundancy reduction // Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021. P. 14908–14917. doi: 10.1109/cvpr46437.2021.01467

8. Чернышов Н.Д., Буряк Д.Ю. Исследование влияния метода сравнения каналов на эффективность алгоритмов поканального прореживания сверточных нейронных сетей // Системный анализ в науке и образовании. 2025. № 1. C. 16–22.

9. Liu D., Zhu Y., Liu Z., Liu Y., Han C., Tian J. A survey of model compression techniques: past, present, and future // Frontiers in Robotics and AI. 2025. V. 12. P. 1518965. doi: 10.3389/frobt.2025.1518965

10. He Y., Xiao L. Structured pruning for deep convolutional neural networks: A survey // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2024. V. 46. N 5. P. 2900–2919. doi: 10.1109/TPAMI.2023.3334614

11. Мокрецов Н.С., Татарникова Т.М. Оптимизация процесса обучения при ограниченном объеме вычислительных ресурсов // Международная конференция по мягким вычислениям и измерениям. 2024. Т. 1. C. 205–208.

12. Lv K., Yang Y., Liu T., Guo Q., Qiu X. Full parameter fine-tuning for large language models with limited resources // Proc. of the 62nd Annual Meeting of the Association for Computational Linguistics. 2024. V. 1. P. 8187–8198. doi: 10.18653/v1/2024.acl-long.445

13. Zhang Q., Zhang R., Sun J., Liu Y. How sparse can we prune a deep network: a fundamental limit perspective // Proc. of the 38th International Conference on Neural Information Processing System. 2024. P. 91337–91372.

14. Cheng H., Zhang M., Shi J.Q. A survey on deep neural network pruning: Taxonomy, comparison, analysis, and recommendations // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2024. V. 46. N 12. P. 10558–10578. doi: 10.1109/tpami.2024.3447085

15. Zhu K., Hu F., Ding Y., Zhou W., Wang R. A comprehensive review of network pruning based on pruning granularity and pruning time perspectives // Neurocomputing. 2025. V. 626. P. 129382. doi: 10.1016/j.neucom.2025.129382

16. Кузьмин В.Н., Менисов А.Б., Сабиров Т.Р. Метод оптимизации нейронных сетей на основе структурной дистилляции с применением генетического алгоритма // Научно-технический вестник информационных технологий, механики и оптики. 2024. Т. 24. № 5. C. 770–778. doi: 10.17586/2226-1494-2024-24-5-770-778

17. Park C., Park M., Moon H., Yoon M.K., Go S., Kim S., et al. DEPrune: Depth-wise separable convolution pruning for maximizing GPU parallelism // Proc. of the 38th International Conference on Neural Information Processing Systems. 2024. P. 106906–106923.

18. Liao B., Meng Y., Monz C. Parameter-efficient fine-tuning without introducing new latency // Proc. of the 61st Annual Meeting of the Association for Computational Linguistics. 2023. V. 1. P. 4242–4260. doi: 10.18653/v1/2023.acl-long.233

19. Lasby M., Golubeva A., Evci U., Nica M., Ioannou Y. Dynamic sparse training with structured sparsity // Proc. of the International Conference on Learning Representations (ICLR). 2024. P. 32982-33010.

20. Sun X., Shi H. Towards better structured pruning saliency by reorganizing convolution // Proc. of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). 2024. P. 2193–2203. doi: 10.1109/WACV57701.2024.00220

21. Wright D., Igel C., Selvan R. BMRS: Bayesian model reduction for structured pruning // Proc. of the 38th International Conference on Neural Information Processing Systems. 2024. P. 64119–64144.

22. Dong Z., Duan Y., Zhou Y., Duan S., Hu X. Weight-adaptive channel pruning for CNNs based on closeness-centrality modeling // Applied Intelligence. 2024. V. 54. N 1. P. 201–215. doi: 10.1007/s10489-023-05164-5

23. Khan N.A., Rafat A.M.S. Pruning convolution neural networks using filter clustering based on normalized cross-correlation similarity // Journal of Information and Telecommunication. 2025. V. 9. N 2. P. 190–208. doi: 10.1080/24751839.2024.2415008

24. Duan Z., Lu M., Ma J., Huang Y., Ma Z., Zhu F. QARV: QuantizationAware ResNet VAE for lossy image compression // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2024. V. 46. N 1. P. 436–450. doi: 10.1109/tpami.2023.3322904