ntvНаучно-технический вестник информационных технологий, механики и оптикиScientific and Technical Journal of Information Technologies, Mechanics and Optics2226-14942500-0373Университет ИТМО10.17586/2226-1494-2025-25-1-169-173ntv-432Research ArticleКРАТКИЕ СООБЩЕНИЯBRIEF PAPERSИспользование метода динамического расширения и смешивания регрессора для задач машинного обучения на примере перцептронаApplication of the dynamic regressor extension and mixing approach in machine learning on the example of perceptronhttps://orcid.org/0000-0002-5333-0594МаргунА. А.MargunA. A.

Маргун Алексей Анатольевич — кандидат технических наук, доцент

Санкт-Петербург, 197101

Санкт-Петербург, 199178

Alexey A. Margun — PhD, Associate Professor; Scientific Researcher

Saint Petersburg, 197101

Saint Petersburg, 199178

alexeimargun@gmail.comhttps://orcid.org/0000-0001-6220-7494ЗименкоК. А.ZimenkoK. A.

Зименко Константин Александрович — кандидат технических наук, доцент

Санкт-Петербург, 197101

Konstantin A. Zimenko — PhD, Associate Professor

Saint Petersburg, 197101

kostyazimenko@gmail.comhttps://orcid.org/0000-0003-1854-6717БобцовА. А.BobtsovA. A.

Бобцов Алексей Алексеевич — доктор технических наук, профессор, профессор

Санкт-Петербург, 197101

Alexey A. Bobtsov — D.Sc., Full Professor

Saint Petersburg, 197101

bobtsov@mail.ruУниверситет ИТМО; Институт проблем машиноведения РАНРоссияITMO University; Institute for Problems in Mechanical Engineering of the Russian Academy of SciencesRussian FederationУниверситет ИТМОРоссияITMO UniversityRussian Federation202528022025251169173Copyright © Маргун А.А., Зименко К.А., Бобцов А.А., 20252025Маргун А.А., Зименко К.А., Бобцов А.А.Margun A.A., Zimenko K.A., Bobtsov A.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ntv.elpub.ru/jour/article/view/432

Рассмотрено использование метода динамического расширения и смешивания регрессора для повышения скорости обучения в задачах машинного обучения. Предложенный подход продемонстрирован на примере перцептрона, применяемого для задач регрессии и бинарной классификации. Метод позволяет преобразовать мультипараметрическую задачу оптимизации в набор независимых скалярных регрессий, что значительно ускоряет сходимость алгоритма и снижает вычислительные затраты. Результаты компьютерного моделирования, включающие сравнение с методами стохастического градиентного спуска и Adam, подтвердили преимущество предложенного подхода для скорости сходимости и эффективности вычислений.

This paper explores the application of the Dynamic Regressor Extension and Mixing method to improve the learning speed in machine learning tasks. The proposed approach is demonstrated using a perceptron applied to regression and binary classification problems. The method transforms a multi-parameter optimization problem into a set of independent scalar regressions, significantly accelerating the convergence of the algorithm and reducing computational costs. Results from computer simulations, including comparisons with stochastic gradient descent and Adam methods, confirm the advantages of the proposed approach in terms of convergence speed and computational efficiency.

перцептронрегрессиябинарная классификациямашинное обучениединамическое расширение и смешивание регрессораperceptronregressionbinary classificationmachine learningdynamic regressor extension and mixingИсследование поддержано Министерством науки и высшего образования Российской Федерации (проект № FSER-2025-0002).The research was supported by the Ministry of Science and Higher Education of the Russian Federation (project No. FSER-2025-0002).ReferencesRosenblatt F. The perceptron: A probabilistic model for information storage and organization in the brain // Psychological Review. 1958. V. 65. N 6. P. 386–408. https://doi.org/10.1037/h0042519Rosenblatt F. The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review, 1958. vol. 65, no. 6, pp. 386–408. https://doi.org/10.1037/h0042519Хайкин С. Нейронные сети: Полный курс. 2-е изд. М.: «Вильямс», 2006. 1103 с.Haykin Simon S. Neural Networks: A Comprehensive Foundation. Macmillan, 1994, 696 p.Karthick K. Comprehensive Overview of Optimization Techniques in Machine Learning Training // Control Systems and Optimization Letters. 2024. V. 2. N 1. P. 23–27. https://doi.org/10.59247/csol.v2i1.69Karthick K. Comprehensive overview of optimization techniques in machine learning training. Control Systems and Optimization Letters, 2024, vol. 2, no. 1, pp. 23–27. https://doi.org/10.59247/csol.v2i1.69Reyad M., Sarhan A.M., Arafa M. A modified Adam algorithm for deep neural network optimization // Neural Computing and Applications. 2023. V. 35. N 23. P. 17095–17112. https://doi.org/10.1007/s00521-023-08568-zReyad M., Sarhan A.M., Arafa M. A modified Adam algorithm for deep neural network optimization. Neural Computing and Applications, 2023, vol. 35, no. 23, pp. 17095–17112. https://doi.org/10.1007/s00521-023-08568-zWang Y., Xiao Z., Cao G. A convolutional neural network method based on Adam optimizer with power-exponential learning rate for bearing fault diagnosis // Journal of Vibroengineering. 2022. V. 24. N 4. P. 666–678. https://doi.org/10.21595/jve.2022.22271Wang Y., Xiao Z., Cao G. A convolutional neural network method based on Adam optimizer with power-exponential learning rate for bearing fault diagnosis. Journal of Vibroengineering, 2022, vol. 24, no. 4, pp. 666–678. https://doi.org/10.21595/jve.2022.22271Liu M., Yao D., Liu Z., Guo J., Chen J. An improved Adam optimization algorithm combining adaptive coefficients and composite gradients based on randomized block coordinate descent // Computational Intelligence and Neuroscience. 2023. V. 10. N 1. P. 4765891. https://doi.org/10.1155/2023/4765891Liu M., Yao D., Liu Z., Guo J., Chen J. An improved Adam optimization algorithm combining adaptive coefficients and composite gradients based on randomized block coordinate descent. Computational Intelligence and Neuroscience, 2023, vol. 10, no. 1, pp. 4765891. https://doi.org/10.1155/2023/4765891Демиденко Е.З. Линейная и нелинейная регрессия. М.: Финансы и статистика, 1981. 302 с.Demidenko E.Z. Linear and Nonlinear Regression. Moscow, Finstat Publ., 1981, 302 p. (in Russian)Aranovskiy S., Bobtsov A., Ortega R., Pyrkin A. Performance enhancement of parameter estimators via dynamic regressor extension and mixing // IEEE Transactions on Automatic Control. 2017. V. 62. N 7. https://doi.org/10.1109/tac.2016.2614889Aranovskiy S., Bobtsov A., Ortega R., Pyrkin A. Performance enhancement of parameter estimators via dynamic regressor extension and mixing. IEEE Transactions on Automatic Control, 2017, vol. 62, no. 7. https://doi.org/10.1109/tac.2016.2614889Ljung L. System Identification: Theory for the User. Prentice-Hall, 1987. 519 p.Ljung L. System Identification: Theory for the User. Prentice-Hall, 1987, 519 p.

The authors declare that there are no conflicts of interest present.