Использование метода динамического расширения и смешивания регрессора для задач машинного обучения на примере перцептрона
https://doi.org/10.17586/2226-1494-2025-25-1-169-173
Аннотация
Рассмотрено использование метода динамического расширения и смешивания регрессора для повышения скорости обучения в задачах машинного обучения. Предложенный подход продемонстрирован на примере перцептрона, применяемого для задач регрессии и бинарной классификации. Метод позволяет преобразовать мультипараметрическую задачу оптимизации в набор независимых скалярных регрессий, что значительно ускоряет сходимость алгоритма и снижает вычислительные затраты. Результаты компьютерного моделирования, включающие сравнение с методами стохастического градиентного спуска и Adam, подтвердили преимущество предложенного подхода для скорости сходимости и эффективности вычислений.
Ключевые слова
перцептрон,
регрессия,
бинарная классификация,
машинное обучение,
динамическое расширение и смешивание регрессора
При поддержке: Исследование поддержано Министерством науки и высшего образования Российской Федерации (проект № FSER-2025-0002).
Об авторах
А. А. Маргун
Университет ИТМО; Институт проблем машиноведения РАН
Россия
Россия
Маргун Алексей Анатольевич — кандидат технических наук, доцент
Санкт-Петербург, 197101
Санкт-Петербург, 199178
К. А. Зименко
Университет ИТМО
Россия
Россия
Зименко Константин Александрович — кандидат технических наук, доцент
Санкт-Петербург, 197101
А. А. Бобцов
Университет ИТМО
Россия
Россия
Бобцов Алексей Алексеевич — доктор технических наук, профессор, профессор
Санкт-Петербург, 197101
Список литературы
1. Rosenblatt F. The perceptron: A probabilistic model for information storage and organization in the brain // Psychological Review. 1958. V. 65. N 6. P. 386–408. https://doi.org/10.1037/h0042519
2. Хайкин С. Нейронные сети: Полный курс. 2-е изд. М.: «Вильямс», 2006. 1103 с.
3. Karthick K. Comprehensive Overview of Optimization Techniques in Machine Learning Training // Control Systems and Optimization Letters. 2024. V. 2. N 1. P. 23–27. https://doi.org/10.59247/csol.v2i1.69
4. Reyad M., Sarhan A.M., Arafa M. A modified Adam algorithm for deep neural network optimization // Neural Computing and Applications. 2023. V. 35. N 23. P. 17095–17112. https://doi.org/10.1007/s00521-023-08568-z
5. Wang Y., Xiao Z., Cao G. A convolutional neural network method based on Adam optimizer with power-exponential learning rate for bearing fault diagnosis // Journal of Vibroengineering. 2022. V. 24. N 4. P. 666–678. https://doi.org/10.21595/jve.2022.22271
6. Liu M., Yao D., Liu Z., Guo J., Chen J. An improved Adam optimization algorithm combining adaptive coefficients and composite gradients based on randomized block coordinate descent // Computational Intelligence and Neuroscience. 2023. V. 10. N 1. P. 4765891. https://doi.org/10.1155/2023/4765891
7. Демиденко Е.З. Линейная и нелинейная регрессия. М.: Финансы и статистика, 1981. 302 с.
8. Aranovskiy S., Bobtsov A., Ortega R., Pyrkin A. Performance enhancement of parameter estimators via dynamic regressor extension and mixing // IEEE Transactions on Automatic Control. 2017. V. 62. N 7. https://doi.org/10.1109/tac.2016.2614889
9. Ljung L. System Identification: Theory for the User. Prentice-Hall, 1987. 519 p.
Рецензия
Для цитирования:
Маргун А.А., Зименко К.А., Бобцов А.А. Использование метода динамического расширения и смешивания регрессора для задач машинного обучения на примере перцептрона. Научно-технический вестник информационных технологий, механики и оптики. 2025;25(1):169-173. https://doi.org/10.17586/2226-1494-2025-25-1-169-173
For citation:
Margun A.A., Zimenko K.A., Bobtsov A.A. Application of the dynamic regressor extension and mixing approach in machine learning on the example of perceptron. Scientific and Technical Journal of Information Technologies, Mechanics and Optics. 2025;25(1):169-173. (In Russ.) https://doi.org/10.17586/2226-1494-2025-25-1-169-173
Просмотров:
15
Послать статью по эл. почте 