Тимофеев Андрей Владимирович — доктор технических наук, научный директор
sc 56689367600
Санкт-Петербург, 197341
Andrey V. Timofeev — D.Sc., Chief Scientific Officer
Saint Petersburg, 197341
Введение. Представлена и экспериментально проверена гипотеза о том, что в машинном обучении максимизация энтропии распределения эмбеддингов при заданных ограничениях ведет к улучшению обобщающей способности моделей. Метод. Для реализации гипотезы предложен новый метод — регуляризация методом максимизации энтропии на гиперсфере с разделением классов, предназначенный для задач классификации с высокой зашумленностью и дисбалансом классов (например, распознавание сигналов Orthogonal Frequency Division Multiplexing (OFDM)). Метод основан на расширении функции потерь классической модели за счет трех специализированных компонент: первый максимизирует энтропию через равномерность распределения на гиперсфере, второй контролирует ковариацию признаков и третий обеспечивает межклассовую разделимость. Динамическая регуляризация позволяет адаптивно балансировать влияние энтропийного члена в процессе обучения. Основные результаты. Показана связь между максимизацией энтропии распределения эмбеддингов и сужением границ обобщения модели. Экспериментально на задаче классификации OFDM-сигналов продемонстрировано, что предложенный метод обеспечивает формирование высокоравномерного пространства признаков: среднее косинусное сходство снижается до 0,064, покрытие достигает 1,71, энтропия распределения сходств — 10,34 нат при сохранении отличной дискриминативности, что подтверждается точностью 0,97 и сбалансированным Macro F1-score 0,98. Метод эффективно устраняет переобучение и повышает устойчивость модели на миноритарных классах. Обсуждение. Разработанный подход, явно максимизирующий энтропию представлений при заданных ограничениях, предоставляет перспективный принцип для улучшения обобщающей способности в условиях недостаточности или зашумленности данных. Перспективы применения метода включают ослабление теоретических предположений и применение в смежных областях, где надежность классификации критически зависит от качества представлений.
We hypothesize and experimentally validate that maximizing the entropy of embedding distributions under specific constraints enhances the generalization ability of machine learning models. To test this hypothesis, we propose a novel regularization method — Hyperspherical Entropy Maximization with Class Separation — designed for noisy and imbalanced classification tasks (e.g., Orthogonal Frequency Division Multiplexing (OFDM) signal recognition).The method is based on extending the loss function of the classical model with three specialized components: the first maximizes entropy by enforcing uniformity of distribution on the hypersphere, the second controls the covariance of features, and the third ensures inter-class separability. Dynamic regularization allows adaptively balancing the influence of the entropy term during training. We establish a link between maximizing the entropy of the embedding distribution and a reduction in the model generalization error bound. In experiments on an OFDM signal classification task, our method shapes a highly uniform feature space: mean cosine similarity decreases to 0.064, coverage reaches 1.71, and the entropy of the similarity distribution attains 10.34 nats, while preserving strong discriminative power, achieving 0.97 accuracy and a Macro F1-score of 0.98, outperforming standard regularization techniques. The approach effectively mitigates overfitting and improves robustness on minority classes. Our approach, which explicitly maximizes representation entropy under task-specific constraints, establishes a promising principle for enhancing generalization in conditions of data scarcity or high noise. Future work will focus on relaxing theoretical assumptions and applying the method to other domains where classification reliability critically depends on representation quality.
The authors declare that there are no conflicts of interest present.