Татарникова Татьяна Михайловна — доктор технических наук, профессор, директор института
sc 36715607400
Санкт-Петербург, 190000
Tatiana M. Tatarnikova — D.Sc., Professor, Director of the Institute
sc 36715607400
Saint Petersburg, 190000
Раскопина Анастасия Сергеевна — аспирант, ассистент
sc 59946913200
Санкт-Петербург, 190000
Anastasia S. Raskopina — PhD Student, Assistant
sc 59946913200
Saint Petersburg, 190000
Введение. Рассмотрена задача сжатия глубоких нейронных сетей на примере сверточных нейронных сетей (Convolutional Neural Network, CNN). Размеры глубоких нейронных сетей являются препятствием для их практического применения в условиях ограниченных вычислительных ресурсов, энергии и требований задержки инференса. Одним из развиваемых направлений сжатия моделей глубоких нейронных сетей является прореживание — удаление части параметров или структурных элементов модели нейронной сети. Показано, что прореживание является компромиссом между точностью классификации и вычислительной эффективностью. Метод. Предложен метод геометрически-контролируемого прореживания модели СNN, основанный на жадном выборе степени разреженности структуры CNN при ограничении на изменение геометрии представлений. Геометрия представлений определяется через матрицу попарных косинусных сходств между центроидами классов в пространстве признаков. Оценка качества работы представленного метода получена на сравнении с методом прореживания по глубине и без прореживания модели CNN по стандартным метрикам Top-1 и Top-5 точности классификации. Оценивание степени сжатия CNN выполнено по числу параметров, объему и вычислительной сложности модели нейронной сети, а также задержки инференса. Измерения задержки инференса проводились в одинаковых условиях при фиксированном размере входных данных. Основные результаты. Выполнена разработка нового метода сжатия CNN, основанного на геометрически-контролируемом прореживании модели CNN, в котором прореживание выполняется жадно по блокам CNN, а допустимость каждого шага определяется не только локальной важностью каналов, но и глобальным ограничением на изменение геометрии представлений. Эксперимент выполнен на CNN с архитектурой ResNet-50 и обучением на стандартном наборе данных CIFAR-100 для оценки методов сжатия и ускорения CNN. Результаты проведенного эксперимента демонстрируют устойчивое сохранение качества классификации у предложенного метода при сокращении вычислительной сложности и числа параметров по сравнению с базовым методом без использования прореживания и методом прореживания по глубине модели CNN. Разработанный метод демонстрирует сопоставимую точность Top-1 и Top-5 с базовой моделью после дообучения, одновременно снижая вычислительную сложность более чем в 2,5 раза и число параметров почти в два раза. Обсуждение. Представленный метод геометрически-контролируемого прореживания модели CNN может найти применение в задачах, требующих принятия решения в реальном времени, а также на мобильных и встраиваемых устройствах.
The problem of deep neural network compression is discussed using Convolutional Neural Networks (CNNs) as an example. The size of deep neural networks is an obstacle to their practical application under conditions of limited computing resources, energy, and inference latency requirements. One of the developing approaches to compressing deep neural network models is thinning-removing some of the parameters or structural elements of the neural network model. It is shown that thinning is a tradeoff between classification accuracy and computational efficiency. The problem of compressing CNN models was formulated by thinning parameters while maintaining classification quality at the level of the original model, reducing the number of parameters, computational complexity, and inference latency. Standard Top-1 and Top-5 classification accuracy metrics were used to evaluate classification quality. The degree of compression and inference latency were assessed using metrics, such as the number of model parameters, model size, computational complexity, and inference latency. To ensure a fair comparison of the proposed method with others, inference latency measurements were conducted under identical conditions with a fixed input data size. The concept of representation geometry is introduced to control the stability of the internal feature space. The change in the interclass similarity matrix, calculated from the class centroids in the feature space, is used as a metric for preserving the structure of the feature space. The main result of this work is the development of a new compression method for CNNs based on geometrically controlled thinning of the CNN model. In this method, thinning is performed greedily across CNN blocks, and the admissibility of each step is determined not only by the local importance of channels but also by a global constraint on changing the geometry of the representations. The results of the experiment demonstrate that the proposed method consistently maintains classification quality while reducing computational complexity and the number of parameters compared to the baseline method without thinning and the depth-based thinning method of the CNN model. The proposed method for geometrically controlled thinning of a CNN model can be applied to problems requiring real-time decision making as well as on mobile and embedded devices.
The authors declare that there are no conflicts of interest present.