Разработка и исследование метода обучения с подкреплением для акустической диагностики промышленного оборудования

Введение. Исследована актуальная задача акустической диагностики автономно работающего промышленного оборудования. Обзор существующих подходов к акустической диагностике, включая методы на основе сверточных нейронных сетей и алгоритмы обучения с учителем, показал их ограничения, такие как необходимость использования для обучения больших объемов размеченных данных, слабая адаптация к изменяющимся условиям и отсутствие механизма принятия решений в реальном времени. Предложен новый подход к акустической диагностике на основе методов обучения с подкреплением, отличающийся способностью к адаптации, высокой устойчивостью к шуму и возможностью непрерывного обучения в динамической среде.

Метод. Представленный метод определения состояния работоспособности оборудования использует подход, основанный на исследовании акустических сигналов, издаваемых работающим оборудованием. Метод включает построение нейронной сети, выбор аудиозаписей из открытых библиотек аудиофайлов и обучение сети при помощи алгоритма с подкреплением. Процесс акустической диагностики состояния исправности/ неисправности промышленного оборудования предполагает четыре этапа: фиксацию в режиме реального времени акустических данных работающего оборудования, извлечение признаков состояния оборудования, обучение с подкреплением нейронной сети и принятие решения о исправности/неисправности оборудования.

Основные результаты. На основе размеченных аудиофайлов из открытых баз данных проведен эксперимент по идентификации различных состояний оборудования: нормальное состояние, начальная стадия дефекта, критическая неисправность. Результаты показали точность классификации от 89,7 % до 98,5 % и среднее время отклика от 0,5 до 0,7 с при низкой вычислительной нагрузке (в среднем загрузка центрального процессора 36,5 % и объем потребляемой оперативной памяти 509 МБ).

Обсуждение. В отличие от известных систем акустической диагностики, основанных на алгоритмах обучения с учителем нейронных и сверточных нейронных сетей на предварительно размеченных базах данных, содержащих акустические сигналы, издаваемые работающим оборудованием, в предлагаемом подходе реализуется декомпозиция исходных акустических сигналов на спектральные составляющие. Каждая из этих составляющих анализируется и снабжается признаками, отражающими состояние исправности/неисправности оборудования. Такой подход позволяет: использовать алгоритмы обучения с подкреплением для принятия решений на основе стратегии; сократить время обучения модели за счет предварительного выделения значимых признаков; повысить точность диагностики; снизить вычислительную нагрузку и требования к аппаратным ресурсам. Разработанный алгоритм может применяться для непрерывного мониторинга состояния оборудования и предиктивного обслуживания в автономно функционирующих промышленных системах. Его использование позволит надежно и своевременно выявлять, и классифицировать неисправности промышленного оборудования. Алгоритм возможно доработать с учетом требований к интеграции с инфраструктурой интернета вещей, повышения устойчивости к внешним шумам и внедрения более продвинутых алгоритмов обучения с подкреплением, таких как Proximal Policy Optimization или Asynchronous Advantage Actor-Critic.

1. Винограденко А.М., Будко Н.П. Адаптивный контроль технического состояния автономных сложных технических объектов на основе интеллектуальных технологий // T-Comm: Телекоммуникации и Транспорт. 2020. Т. 14. № 1. С. 25–35. https://doi.org/10.36724/2072-8735-2020-14-1-25-35

2. Богатырев В.А., Богатырев С.В., Богатырев А.В. Оценка готовности компьютерной системы к своевременному обслуживанию запросов при его совмещении с информационным восстановлением памяти после отказов // Научно-технический вестник информационных технологий, механики и оптики. 2023. Т. 23. № 3. С. 608–617. https://doi.org/10.17586/2226-1494-2023-23-3-608-617

3. Bogatyrev V., Vinokurova M. Control and safety of operation of duplicated computer systems // Communications in Computer and Information Science. 2017. V. 700. P. 331–342. https://doi.org/10.1007/978-3-319-66836-9_28

4. Bogatyrev V.A. Exchange of duplicated computing complexes in fault-tolerant systems // Automatic Control and Computer Sciences. 2011. V. 45. N 5. P. 268–276. https://doi.org/10.3103/s014641161105004x

5. Мартюгов А.С., Ершов Е.В., Виноградова Л.Н., Варфоломеев И.А. Диагностика промышленного оборудования методом акустического контроля // Оптико- электронные приборы и устройства в системах распознавания образов и обработки изображений: Материалы XVI Международной научно-технической конференции. Курск: Юго-Западный государственный университет, 2021. С. 172–174.

6. Верзун Н.А., Колбанёв М.О., Салиева А.Р. Многоагентный ансамблевый алгоритм акустического распознавания нарушений работоспособности автономного технологического оборудования // Информационно-управляющие системы. 2025. № 3 (136). C. 14–24. https://doi.org/10.31799/1684-8853-2025-3-14-24

7. Щегольков М.В., Зинкин С.А. Обзор основных подходов обучения с подкреплением на основе обучения без знания модели // Энергетика и автоматизация в современном обществе: Материалы VII Всероссийской научно-практической конференции обучающихся и преподавателей. СПб: Санкт-Петербургский государственный университете промышленных технологий и дизайна, 2024. С. 91–95.

8. Ye L., Ma X., Wen C. Rotating machinery fault diagnosis method by combining time-frequency domain features and CNN knowledge transfer // Sensors. 2021. V. 21. N 24. P. 8168. https://doi.org/10.3390/s21248168

9. Shao S., McAleer S., Yan R., Baldi P. Highly accurate machine fault diagnosis using deep transfer learning // IEEE Transactions on Industrial Informatics. 2019. V. 15. N 4. P. 2446–2455. https://doi.org/10.1109/tii.2018.2864759

10. Souza R.M., Nascimento E.G.S., Miranda U.A., Silva W.J.D., Lepikson H.A.. Deep learning for diagnosis and classification of faults in industrial rotating machinery // Computers and Industrial Engineering. 2021. V. 153. P. 107060. https://doi.org/10.1016/j.cie.2020.107060

11. Lyu P., Zhang K., Yu W., Wang B., Liu C. A novel RSG-based intelligent bearing fault diagnosis method for motors in high-noise industrial environment // Advanced Engineering Informatics. 2022. V. 52. P. 101564. https://doi.org/10.1016/j.aei.2022.101564

12. Zhang J., Koppel A., Bedi A.S., Szepesvari C., Wang M., Variational policy gradient method for reinforcement learning with general utilities // arXiv. 2020. arXiv:2007.02151. https://doi.org/10.48550/arXiv.2007.02151

13. Chen D., Peng P., Huang T., Tian Y. Deep reinforcement learning with spiking Q-learning // arXiv. 2022. arXiv:2201.09754.

14. Верзун Н.А., Колбанёв М.О., Салиева А.Р. Анализ перспектив обучения умных автономных логистических систем на основе оптимизации функции ценности // Известия СПбГЭТУ ЛЭТИ. 2024. Т. 17. № 10. C. 28–39. https://doi.org/10.32603/2071-8985-2024-17-10-28-39

15. Tama B.A., Vania M., Lee S., Lim S. Recent advances in the application of deep learning for fault diagnosis of rotating machinery using vibration signals // Artificial Intelligence Review. 2023. V. 56. N 5. P. 4667–4709. https://doi.org/10.1007/s10462-022-10293-3

16. Wang R., Zhan X., Bai H., Dong E., Cheng Z., Jia X. A review of fault diagnosis methods for rotating machinery using infrared thermography // Micromachines. 2022. V. 13. N 10. P. 1644. https://doi.org/10.3390/mi13101644

17. Ramaswamy A., Hüllermeier E. Deep Q-Learning: theoretical insights from an asymptotic analysis // arXiv. 2020. arXiv:2008.10870. https://doi.org/10.48550/arXiv.2008.10870

18. Hansen N., Su H., Wang X. Stabilizing Deep Q-Learning with ConvNets and vision transformers under data augmentation // Proc. of the 35th International Conference on Neural Information Processing Systems. 2021. P. 3680–3693.

19. Haq A.S., Nasrun M., Setianingsih C., Murti M.A. Speech recognition implementation using MFCC and DTW algorithm for home automation // Proc. of the International Conference on Electrical Engineering Computer Science and Informatics. 2020. V. 7. P. 78–85. https://doi.org/10.11591/eecsi.v7.2041

20. Sutton R.S., Barto A.G. Reinforcement Learning: An Introduction. Bradford Books, 2018. 552 p.

21. Das O., Das D.B., Birant D. Machine learning for fault analysis in rotating machinery: A comprehensive review // Heliyon. 2023. V. 9. N 6. P. e17584. https://doi.org/10.1016/j.heliyon.2023.e17584

22. Свидетельство о государственной регистрации программы для ЭВМ № 2025619237. Акустическая система диагностики неисправностей промышленного оборудования на основе обучения с подкреплением (АСД-ОП). Номер и дата поступления заявки: 2025617991 10.04.2025. Опубликовано 14.04.2025 Бюл. № 4 / Бердникова А.А., Колбанёв М.О, Верзун Н.А., Салиева А.Р. Правообладатель: Государственное бюджетное образовательное учреждение высшего образования «Нижегородский государственный инженерно-экономический университет».

23. Moharam M.H., Hany O., Hany A., Mahmoud A., Mohamed M., Saeed S. Anomaly detection using machine learning and adopted digital twin concepts in radio environments // Scientific Reports. 2025. V. 15. P. 18352. https://doi.org/10.1038/s41598-025-02759-5

24. Purohit H.P., Tanabe R., Ichige K., Endo T., Nikaido Y., Suefusa K., Kawaguchi Y. MIMII Dataset: sound dataset for malfunctioning industrial machine investigation and inspection // Proc. of the Detection and Classification of Acoustic Scenes and Events 2019 Workshop (DCASE2019). 2019. P. 209–213. https://doi.org/10.33682/m76f-d618

25. Koizumi Y., Kawaguchi Y., Imoto K., Nakamura T., Nikaido Y., Tanabe R., Purohit H., Suefusa K., Endo T., Yasuda M., Harada N. Description and discussion on DCASE2020 challenge Task2: unsupervised anomalous sound detection for machine condition monitoring // arXiv. 2020. arXiv:2006.05822. https://doi.org/10.48550/arXiv.2006.05822