ntvНаучно-технический вестник информационных технологий, механики и оптикиScientific and Technical Journal of Information Technologies, Mechanics and Optics2226-14942500-0373Университет ИТМО10.17586/2226-1494-2022-22-2-385-391ntv-174Research ArticleМАТЕМАТИЧЕСКОЕ И КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНИЕMODELING AND SIMULATIONОбнаружение поломки винта квадрокоптера методами машинного обученияDetection of quadcopter propeller failure by machine learning methodshttps://orcid.org/0000-0001-9416-8645КириленкоИ. И.KirilenkoI. I.

Кириленко Иван Игоревич — техник 

 Санкт-Петербург, 197101 

Ivan I. Kirilenko — Technician 

Saint Petersburg, 197101 

Ivan009ki@gmail.comhttps://orcid.org/0000-0002-5388-4597КосареваЕ. А.KosarevaE. A.

Косарева Екатерина Андреевна — техник 

 Санкт-Петербург, 197101 

Ekaterina A. Kosareva — Technician 

Saint Petersburg, 197101 

e.kosareva@itmo.ruhttps://orcid.org/0000-0001-6551-8896НиколаевА. А.NikolaevA. A.

Николаев Александр Андреевич — техник 

 Санкт-Петербург, 197101 

 Aleksandr A. Nikolaev — Technician 

Saint Petersburg, 197101 

nikolaev7aleksandr@gmail.comhttps://orcid.org/0000-0002-8871-3835ЗенкинА. М.ZenkinA. M.

Зенкин Артемий Михайлович — младший научный сотрудник 

 Санкт-Петербург, 197101 

 sc 6506189455 

Artemii M. Zenkin — Junior Researcher 

Saint Petersburg, 197101 

 sc 6506189455 

a.zenkin@itmo.ruhttps://orcid.org/0000-0001-9534-7258СелезневаЯ. М.SeleznevaI. M.

Селезнева Яна Михайловна — аспирант, инженер 

 Санкт-Петербург, 197101 

Iana M. Selezneva — PhD student, Engineer 

Saint Petersburg, 197101 

yanaselezneva97@mail.ruhttps://orcid.org/0000-0002-8835-5142НиколаевН. А.NikolaevN. A.

Николаев Николай Анатольевич — кандидат технических наук, доцент, доцент 

 Санкт-Петербург, 197101 

Nikolay A. Nikolaev — PhD, Associate Professor 

Saint Petersburg, 197101 

 sc 13105019100 

nanikolaev@itmo.ruУниверситет ИТМОРоссияITMO UniversityRussian Federation202214122024222385391Copyright © Кириленко И.И., Косарева Е.А., Николаев А.А., Зенкин А.М., Селезнева Я.М., Николаев Н.А., 20242024Кириленко И.И., Косарева Е.А., Николаев А.А., Зенкин А.М., Селезнева Я.М., Николаев Н.А.Kirilenko I.I., Kosareva E.A., Nikolaev A.A., Zenkin A.M., Selezneva I.M., Nikolaev N.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ntv.elpub.ru/jour/article/view/174

Предмет исследования. Представлено исследование вариантов обнаружения поломки или дефекта винта беспилотной авиационной системы (квадрокоптера) с использованием методов машинного обучения. Выполнена оригинальная оценка точности известных алгоритмов с применением на практике получаемых данных с квадрокоптера в условиях его полета. Метод. Предложенный метод основан на классификации трех состояний винтов (исправные винты, один винт искусственно деформирован, один винт сломан) с использованием алгоритмов машинного обучения. Исходной информацией являются данные, получаемые с измерительной системы квадрокоптера в реальном времени: скорость, ускорение и угол поворота относительно трех осей. Для корректной работы представленного алгоритма выполнена предварительная обработка данных с разделением на временные интервалы и применением к полученным интервалам быстрого преобразования Фурье. На основе обработанных данных проведено обучение алгоритмов машинного обучения с использованием метода опорных векторов, алгоритма k-ближайших соседей, алгоритма дерева решений и многослойного персептрона. Основные результаты. Выполнено сравнение полученных значений точности предложенных методов. Показано, что применение методов машинного обучения позволяют обнаруживать и классифицировать состояния винта с точностью до 96 %. Наилучший результат достигнут с использованием алгоритма дерева решений. Практическое значение. Результаты исследования могут иметь практическое значение для систем обнаружения дефектов и поломок винтов беспилотных летательных аппаратов в реальном времени. Получена возможность прогнозирования с высокой точностью износа винта, повышать стабильность и безопасность полета.

The paper presents a study of options for detecting a failure or defect in the propeller of an unmanned aircraft system (quadcopter) using machine learning methods. An original accuracy evaluation of the known algorithms using in practice the data obtained from the quadcopter in its flight conditions is performed. The proposed method is based on the classification of three propeller states (serviceable propellers, one propeller artificially deformed, one propeller broken) using machine learning algorithms. The input information is the data obtained from the quadcopter measuring system in real time: speed, acceleration and rotation angle relative to three axes. For the correct work of the presented algorithm, data was preprocessed with division into time intervals and applying to the obtained intervals the fast Fourier transform. Based on the processed data, machine learning algorithms were trained using the reference vector method, k-nearest neighbor algorithm, decision tree algorithm, and multilayer perceptron. The obtained accuracy values of the proposed methods are compared. It is shown that the application of machine learning methods can detect and classify the propeller states with an accuracy of up to 96 %. The best result is achieved using the decision tree algorithm. The results of the study can be of practical importance for real-time systems to detect propeller defect and breakage for unmanned aerial vehicles. It is possible to predict with high accuracy the propeller wear; it is possible to improve the stability and safety of the flight.

беспилотная авиационная системаквадрокоптермашинное обучениедетектирование поломки винтаметод опорных векторовдерево решенийk-ближайших соседеймногослойный персептронUASquadcoptermachine learningpropeller failure detectionsupport vector methoddecision treek-nearest neighborsmultilayer perceptronReferencesЗенкин А.М., Осинкин Е.А., Пачковский К.А. Детектирование границ пожара по камере на вычислительных мощностях беспилотного летательного аппарата // Альманах научных работ молодых ученых Университета ИТМО. Т 2. СПб., 2019. С. 81–83.Zenkin A.M., Osinkin E.A., Pachkovskii K.A. Detection of the fire boundaries by camera using the computing power of an unmanned aerial vehicle. Almanac of Scientific Works of Young Scientists at ITMO University. Vol. 2. St. Petersburg, 2019, pp. 81–83. (in Russian)Цветков В.Я., Ознамец В.В. Мониторинг транспортной инфраструктуры с использованием интеллектуальных БПЛА // Автоматика, связь, информатика. 2020. № 8. С. 18–21.Tsvetkov V., Oznamets V. Monitoring transport infrastructure using intelligent UAVS. Automation, Communications, Informatics, 2020, no. 8, pp. 18–21. (in Russian)Агеева Е.Г., Евсеев О.В. Перспективы применения БПЛА как средства доставки грузов // Современные проблемы управления внешнеэкономической деятельностью: Материалы международной научной конференции. М.: Всероссийская академия внешней торговли Министерства экономического развития РФ, 2018. С. 161–167.Ageeva E.G., Evseev O.V. Prospects for the use of UAVs as a means of cargo delivery. Modern problems of foreign economic activity management: Materials of the International Scientific Conference. Moscow, Russian Foreign Trade Academy Ministry of economic development of the Russian Federation, 2018, pp. 161–167. (in Russian)Морозов Ю.В. Экстренное управление квадрокоптером при отказе двух симметричных винтов // Автоматика и телемеханика. 2018. № 3. С. 92–110.Morozov Y.V. Emergency control of a quadrocopter in case of failure of two symmetric propellers. Automation and Remote Control, 2018, vol. 79, no. 3, pp. 463–478. https://doi.org/10.1134/S0005117918030062Зотин Н.А. Разработка оптических средств контроля работы воздушных винтов беспилотных летательных аппаратов // Актуальные проблемы и перспективы развития гражданской авиации: cборник трудов IX Международной научно-практической конференции. Иркутск: Иркутский филиал МГТУ ГА, 2020. С. 237–242.Zotin N.A. Development of the optical means for monitoring the operation of propellers of unmanned aerial vehicles. Actual problems and prospects for the civil aviation development: Proceedings of the IX International Scientific and Practical Conference. Irkutsk, Irkutsk Branch of Moscow State Technical University of Civil Aviation, 2020, pp. 237–242. (in Russian)Bondyra A., Gasior P., Gardecki S., Kasinski A. Fault diagnosis and condition monitoring of UAV rotor using signal processing // Proc. of the 21st Signal Processing: Algorithms, Architectures, Arrangements, and Applications (SPA). 2017. P. 233–238. https://doi.org/10.23919/SPA.2017.8166870Bondyra A., Gasior P., Gardecki S., Kasinski A. Fault diagnosis and condition monitoring of UAV rotor using signal processing. Proc. of the 21st Signal Processing: Algorithms, Architectures, Arrangements, and Applications (SPA), 2017, pp. 233–238. https://doi.org/10.23919/SPA.2017.8166870Rago C., Prasanth R., Mehra R.K., Fortenbaugh R. Failure detection and identification and fault tolerant control using the IMM-KF with applications to the Eagle-Eye UAV // Proc. of the 37th IEEE Conference on Decision and Control (CDC). V. 4. 1998. P. 4208– 4213. https://doi.org/10.1109/CDC.1998.761963Rago C., Prasanth R., Mehra R.K., Fortenbaugh R. Failure detection and identification and fault tolerant control using the IMM-KF with applications to the Eagle-Eye UAV. Proc. of the 37th IEEE Conference on Decision and Control (CDC). Vol. 4, 1998, pp. 4208–4213. https://doi.org/10.1109/CDC.1998.761963Abbaspour A., Aboutalebi P., Yen K.K., Sargolzaei A. Neural adaptive observer-based sensor and actuator fault detection in nonlinear systems: Application in UAV // ISA Transactions. 2017. V. 67. P. 317– 329. https://doi.org/10.1016/j.isatra.2016.11.005Abbaspour A., Aboutalebi P., Yen K.K., Sargolzaei A. Neural adaptive observer-based sensor and actuator fault detection in nonlinear systems: Application in UAV. ISA Transactions, 2017, vol. 67, pp. 317–329. https://doi.org/10.1016/j.isatra.2016.11.005Abdalla A.S., Marojevic V. Machine learning-assisted UAV operations with the UTM: Requirements, challenges, and solutions // Proc. of the 92nd IEEE Vehicular Technology Conference (VTC). 2020. P. 9348605. https://doi.org/10.1109/VTC2020-Fall49728.2020.9348605Abdalla A.S., Marojevic V. Machine learning-assisted UAV operations with the UTM: Requirements, challenges, and solutions. Proc. of the 92nd IEEE Vehicular Technology Conference (VTC), 2020, pp. 9348605. https://doi.org/10.1109/VTC2020 - Fall49728.2020.9348605Phanindra B.R., Pralhad R.N., Raj A.A. B. Machine learning based classification of ducted and non-ducted propeller type quadcopter // Proc. of the 6th International Conference on Advanced Computing and Communication Systems (ICACCS). 2020. P. 1296–1301. https://doi.org/10.1109/ICACCS48705.2020.9074307Phanindra B.R., Pralhad R.N., Raj A.A. B. Machine learning based classification of ducted and non-ducted propeller type quadcopter. Proc. of the 6th International Conference on Advanced Computing and Communication Systems (ICACCS), 2020, pp. 1296–1301. https://doi.org/10.1109/ICACCS48705.2020.9074307Baskaya E., Bronz M., Delahaye D. Fault detection & diagnosis for small UAVs via machine learning // Proc. of the 36th IEEE/AIAA Digital Avionics Systems Conference (DASC). 2017. P. 8102037. https://doi.org/10.1109/DASC.2017.8102037Baskaya E., Bronz M., Delahaye D. Fault detection & diagnosis for small UAVs via machine learning. Proc. of the 36th IEEE/AIAA Digital Avionics Systems Conference (DASC), 2017, pp. 8102037. https://doi.org/10.1109/DASC.2017.8102037Yang P., Wen C., Geng H., Liu P. Intelligent fault diagnosis method for blade damage of quad-rotor UAV based on stacked pruning sparse denoising autoencoder and convolutional neural network // Machines. 2021. V. 9. N 12. P. 360. https://doi.org/10.3390/machines9120360Yang P., Wen C., Geng H., Liu P. Intelligent fault diagnosis method for blade damage of quad-rotor UAV based on stacked pruning sparse denoising autoencoder and convolutional neural network. Machines, 2021, vol. 9, no. 12, pp. 360. https://doi.org/10.3390/machines9120360Chen X.M., Wu C.-X., Wu Y., Xiong N.-X., Han R., Ju B.-B., Zhang S. Design and analysis for early warning of rotor UAV based on data-driven DBN // Electronics. 2019. V. 8. N 11. P. 1350. https://doi.org/10.3390/electronics8111350Chen X.M., Wu C.-X., Wu Y., Xiong N.-X., Han R., Ju B.-B., Zhang S. Design and analysis for early warning of rotor UAV based on data-driven DBN. Electronics, 2019, vol. 8, no. 11, pp. 1350. https://doi.org/10.3390/electronics8111350Парфентьев К.В., Жильцов А.И. Разработка интеллектуальной системы оценки состояния беспилотного летательного аппарата на основе нейросетевых технологий // Радиостроение. 2018. № 2. С. 13–28. https://doi.org/10.24108/rdeng.0218.0000134Parfentyev K.V., Zhiltsov A.I. Intelligent system development for assessing the unmanned aerial vehicle state based on neural network technologies. Radio Engineering, 2018, no. 2, pp. 13–28. (in Russian). https://doi.org/10.24108/rdeng.0218.0000134Kotsiantis S.B. Supervised machine learning: A review of classification techniques // Frontiers in Artificial Intelligence and Applications. 2007. V. 160. P. 3–24.Kotsiantis S.B. Supervised machine learning: A review of classification techniques. Frontiers in Artificial Intelligence and Applications, 2007, vol. 160, pp. 3–24.Вьюгин В. Математические основы машинного обучения и прогнозирования. М.: Изд-во МЦНМО, 2017. 383 с.Viugin V. Mathematical Basics of Machine Learning and Forecasting. Moscow, MCCME Publ., 2017, 383 p. (in Russian)Toledo-Pérez D.C., Rodríguez-Reséndiz J., Gómez-Loenzo R.A., Jauregui-Correa J.C. Support vector machine-based EMG signal classification techniques: A review // Applied Sciences. 2019. V. 9. N 20. P. 4402. https://doi.org/10.3390/app9204402Toledo-Pérez D.C., Rodríguez-Reséndiz J., Gómez-Loenzo R.A., Jauregui-Correa J.C. Support vector machine-based EMG signal classification techniques: A review. Applied Sciences, 2019, vol. 9, no. 20, pp. 4402. https://doi.org/10.3390/app9204402Zhou X., Wu Y., Yang B. Signal classification method based on support vector machine and high-order cumulants // Wireless Sensors Network. 2010. V. 2. N 1. P. 48–52. https://doi.org/10.4236/wsn.2010.21007Zhou X., Wu Y., Yang B. Signal classification method based on support vector machine and high-order cumulants. Wireless Sensors Network, 2010, vol. 2, no. 1, pp. 48–52. https://doi.org/10.4236/wsn.2010.21007Dhanabal S., Chandramathi S. A review of various k-nearest neighbor query processing techniques // International Journal of Computer Applications. 2011. V. 31. N 7. P. 14–22. https://doi.org/10.5120/3836-5332Dhanabal S., Chandramathi S. A review of various k-nearest neighbor query processing techniques. International Journal of Computer Applications, 2011, vol. 31, no. 7, pp. 14–22. https://doi.org/10.5120/3836-5332Zhang S., Li X., Zong M., Zhu X., Cheng D. Learning k for kNN classification // ACM Transactions on Intelligent Systems and Technology. 2017. V. 8. N 3. P. 43. https://doi.org/10.1145/2990508Zhang S., Li X., Zong M., Zhu X., Cheng D. Learning k for kNN classification. ACM Transactions on Intelligent Systems and Technology, 2017, vol. 8, no. 3, pp. 43. https://doi.org/10.1145/2990508Guo G., Wang H., Bell D., Bi Y., Greer K. KNN model-based approach in classification // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2003. V. 2888. P. 986–996. https://doi.org/10.1007/978-3-540-39964-3_62Guo G., Wang H., Bell D., Bi Y., Greer K. KNN model-based approach in classification. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2003, vol. 2888, pp. 986–996. https://doi.org/10.1007/978-3-540-39964-3_62Myles A.J., Feudale R.N., Liu Y., Woody N.A., Brown S.D. An introduction to decision tree modeling // Journal of Chemometrics. 2004. V. 18. N 6. P. 275–285. https://doi.org/10.1002/cem.873Myles A.J., Feudale R.N., Liu Y., Woody N.A., Brown S.D. An introduction to decision tree modeling. Journal of Chemometrics, 2004, vol. 18, no. 6, pp. 275–285. https://doi.org/10.1002/cem.873Song Y.-Y., Lu Y. Decision tree methods: applications for classification and prediction // Shanghai Archives of Psychiatry.2015. V. 27. N 2. P. 130. https://doi.org/10.11919/j.issn.1002- 0829.215044Song Y.-Y., Lu Y. Decision tree methods: applications for classification and prediction. Shanghai Archives of Psychiatry, 2015, vol. 27, no. 2, pp. 130. https://doi.org/10.11919/j.issn.1002-0829.215044Zanaty E.A. Support vector machines (SVMs) versus multilayer perception (MLP) in data classification // Egyptian Informatics Journal. 2012. V. 13. N 3. P. 177–183. https://doi.org/10.1016/j.eij.2012.08.002Zanaty E.A. Support vector machines (SVMs) versus multilayer perception (MLP) in data classification. Egyptian Informatics Journal, 2012, vol. 13, no. 3, pp. 177–183. https://doi.org/10.1016/j.eij.2012.08.002

The authors declare that there are no conflicts of interest present.