Балыкин Андрей Федорович — аспирант
Санкт-Петербург, 199034
sc 58548795200
Andrei F. Balykin — PhD Student
Saint Petersburg, 199034
sc 58548795200
Блеканов Иван Станиславович — кандидат технических наук, доцент, заведующий кафедрой
Санкт-Петербург, 199034
sc 56149559700
Ivan S. Blekanov — PhD, Associate Professor
Saint Petersburg, 199034
sc 56149559700
Введение. Подходы глубокого обучения все активнее применяются для задач виртуального аналогового моделирования, цель которых заключается в воспроизведении звуковых характеристик аналоговых аудиоустройств. В области моделирования аналоговых компрессоров динамического диапазона многие существующие методы работают с аудиосигналами во временной области, что обуславливает высокую размерность входного сигнала при высокой частоте дискретизации. Обработка таких высокодетализированных признаков является вычислительно затратной и снижает эффективность моделей. Метод. Представлен метод предварительной обработки признаков, использующий амплитудную компоненту кратковременного преобразования Фурье в сочетании с механизмом спектрального усиления, функционирующим аналогично спектральной маске, но способным как ослаблять, так и усиливать частотные компоненты. В качестве рассматриваемых архитектур были предложены многополосные сети Long Short-Term Memory (LSTM) и Gated Recurrent Unit (GRU), которые разделяют амплитудный спектр на несколько частотных полос для независимой обработки, что существенно снижает вычислительную сложность при сохранении высокой точности моделирования. Основные результаты. Для оценки представленного подхода были сформированы два набора данных, содержащих записи с аналогового компрессора Alesis 3630 и его цифровой эмуляции discoDSP NightShine. На выбранных наборах данных были проведены эксперименты, в которых предложенный метод сравнивался с базовыми моделями по четырем объективным метрикам, теоретическим и эмпирическим показателям вычислительной производительности, а также результатам субъективного прослушивания. Обсуждение. Результаты показали, что однополосные модели с использованием разработанного метода извлечения признаков превосходят базовые модели по всем оценочным метрикам. Многополосные конфигурации обеспечивают более выгодный баланс между качеством и вычислительной эффективностью. В частности, четырехполосные архитектуры LSTM и GRU демонстрируют более высокую перцептивную точность при существенно меньших вычислительных затратах. Кроме того, был проведен субъективный тест прослушивания, результаты которого согласуются с объективными метриками. Исходный код и предобученные модели опубликованы в открытом доступе для обеспечения воспроизводимости результатов.
Deep learning approaches have been increasingly adopted for virtual analog modeling, which aims to replicate the sonic characteristics of analog audio devices. In the context of analog dynamic range compressor modeling, many existing methods operate directly on raw audio waveforms which are high-dimensional and contain fine-grained temporal features at high sampling rates. These representations are computationally demanding and limit model efficiency. We propose a feature extraction pipeline that leverages the magnitude component of the Short-Time Fourier Transform in combination with a spectral amplification mechanism which acts similarly to a spectral mask but can both attenuate and amplify selected frequency components. We employ multi-band Long Short-Term Memory (LSTM) and Gated Recurrent Unit (GRU) architectures that split the magnitude spectrum into several frequency bands for independent processing, substantially reducing computational complexity while preserving high modeling accuracy. To evaluate our approach, we created two datasets consisting of recordings of the consumer-grade analog compressor Alesis 3630 and its digital counterpart, discoDSP NightShine. We conducted extensive experiments comparing our method against raw waveform baselines using four objective metrics, theoretical and empirical measurements of computational performance, and a subjective listening test. Results indicate that single-band models based on the proposed feature extraction pipeline outperform raw-audio baselines across all evaluation metrics. Multi-band configurations further improve the efficiency balance. In particular, four-band LSTM and GRU architectures achieve higher perceptual fidelity at substantially lower computational cost. Moreover, we conducted a subjective listening test that yielded results aligned with the objective metrics. All source code and pretrained models are provided for reproducibility.
The authors declare that there are no conflicts of interest present.