Классификация двигательной активности человека на основе анализа мультисенсорных данных

Введение. Выполнен анализ мультисенсорных данных, полученных от электромиографа, инерциальных измерительных устройств, системы компьютерного зрения и трекеров виртуальной реальности, для решения задачи классификации двигательной активности человека. Актуальность решения данной задачи обусловлена необходимостью анализа и распознавания двигательной активности человека при использовании различных программно-аппаратных комплексов, например, реабилитационных и тренажерных систем. Для оптимального решения задачи распознавания типа движений рук с наибольшей точностью оценивается вклад каждого источника сигналов, а также выполняется сравнение различных моделей машинного обучения.

Метод. Подход к обработке мультисенсорных данных включает синхронизированный сбор потоков от различных источников, разметку исходных данных, фильтрацию сигналов; двойное выравнивание временных рядов по частоте и длительности с аппроксимацией до общей константы, формирование общего набора данных, обучение и выбор модели машинного обучения для распознавания двигательной активности рук. Рассматриваются девять моделей машинного обучения: логистическая регрессия, k-ближайших соседей, наивный байесовский классификатор, дерево решений и ансамбли на их основе (случайный лес, AdaBoost, Extreme Gradient Boosting, Voting и Stacking Classifier). Разработанный подход синхронизации, фильтрации и двойного выравнивания потоков данных позволяет сформировать унифицированный набор данных мультисенсорных данных для обучения моделей.

Основные результаты. Проведен эксперимент по классификации девяти категорий движений рук на основе анализа мультисенсорных данных (собрано 629 записей от 15 участников). Обучение выполнялось на 80 % собранных данных с пятикратной перекрестной проверкой. Показано, что ансамбль AdaBoost обеспечивает точность классификации 98,8 % на наборе данных из объединенных от четырех различных источников информации. В ходе абляционного анализа для сравнения источников данных, наибольшее влияние на итоговую точность классификации оказывает информация от трекеров виртуальной реальности (до 98,73 ± 1,78 % точности на модели AdaBoost), данные о мышечной активности от электромиографа являются наименее информативными. Определено, что высокая точность классификации двигательной активности может быть получена с использованием инерциальных измерительных устройств.

Обсуждение. Исследование формализует воспроизводимый подход к обработке мультисенсорных данных и позволяет объективно сравнить вклад различных источников информации и моделей машинного обучения при решении задачи классификации двигательной активности рук пользователя в рамках реабилитационных и виртуальных тренажерных систем. Показано, что при ограничениях по ресурсам возможно отказаться от части источников данных без существенной потери точности классификации, упростив аппаратную конфигурацию систем отслеживания, перейти от закрытых коммерческих систем (трекеров виртуальной реальности) к более доступным и компактным инерциальным измерительным устройствам.

1. Obukhov A., Volkov A., Pchelintsev A., Nazarova A., Teselkin D., Surkova E., Fedorchuk I. Examination of the accuracy of movement tracking systems for monitoring exercise for musculoskeletal rehabilitation // Sensors. 2023. V. 23. N 19. P. 8058. https://doi.org/10.3390/s23198058

2. Obukhov A., Dedov D., Volkov A., Teselkin D. Modeling of nonlinear dynamic processes of human movement in virtual reality based on digital shadows // Computation. 2023. V. 11. N 5. P. 85. https://doi.org/10.3390/computation11050085

3. Islam M.M., Nooruddin S., Karray F., Muhammad G. Human activity recognition using tools of convolutional neural networks: a state of the art review, data sets, challenges, and future prospects // Computers in Biology and Medicine. 2022. V. 149. P. 106060. https://doi.org/10.1016/j.compbiomed.2022.106060

4. Ergun B.G., Şahiner R. Embodiment in virtual reality and augmented reality games: an investigation on user interface haptic controllers // Journal of Soft Computing and Artificial Intelligence. 2023. V. 4. N 2. P. 80–92. https://doi.org/10.55195/jscai.1409156

5. Franček P., Jambrosic K., Horvat M., Planinec V. The performance of inertial measurement unit sensors on various hardware platforms for binaural head-tracking applications // Sensors. 2023. V. 23. N 2. P. 872. https://doi.org/10.3390/s23020872

6. Ghorbani F., Ahmadi A., Kia M., Rahman Q., Delrobaei M. A decision-aware ambient assisted living system with IoT embedded device for in-home monitoring of older adults // Sensors. 2023. V. 23. N 5. P. 2673. https://doi.org/10.3390/s23052673

7. Eliseichev E.A., Mikhailov V.V., Borovitskiy I.V., Zhilin R.M., Senatorova E.O. A review of devices for detection of muscle activity by surface electromyography // Biomedical Engineering. 2022. V. 56. N 1. P. 69–74. https://doi.org/10.1007/s10527-022-10169-4

8. Chung J.L., Ong L.Y., Leow M.C. Comparative analysis of skeletonbased human pose estimation // Future Internet. 2022. V. 14. N 12. P. 380. https://doi.org/10.3390/fi14120380

9. Zhang S., Li Y., Zhang S., Shahabi F., Xia S., Deng Y., Alshurafa N. Deep learning in human activity recognition with wearable sensors: a review on advances // Sensors. 2022. V. 22. N 4. P. 1476. https://doi.org/10.3390/s22041476

10. Lin J.J., Hsu C.K., Hsu W.L., Tsao T.C., Wang F.C., Yen J.Y. Machine learning for human motion intention detection // Sensors. 2023. V. 23. N 16. P. 7203. https://doi.org/10.3390/s23167203

11. Mazon D.M., Groefsema M., Schomaker L.R.B., Carloni R. IMUbased classification of locomotion modes, transitions, and gait phases with convolutional recurrent neural networks // Sensors. 2022. V. 22. N 22. P. 8871. https://doi.org/10.3390/s22228871

12. Gonzales-Huisa O.A., Oshiro G., Abarca V.E., Chavez-Echajaya J.G., Elias D.A. EMG and IMU data fusion for locomotion mode classification in transtibial amputees // Prosthesis. 2023. V. 5. N 4. P. 1232–1256. https://doi.org/10.3390/prosthesis5040085

13. Vásconez J.P., López L.I.B., Caraguay A.L.V., Benalcázar M.E. Hand gesture recognition using EMG-IMU signals and deep q-networks // Sensors. 2022. V. 22. N 24. P. 9613. https://doi.org/10.3390/s22249613

14. Sulla-Torres J., Gamboa A.C., Llanque C.A., Osorio J.A., Carnero M.Z. Classification of motor competence in schoolchildren using wearable technology and machine learning with hyperparameter optimization // Applied Sciences. 2024. V. 14. N 2. P. 707. https://doi.org/10.3390/app14020707

15. Stančić I., Music J., Grujic T., Vasic M.K., Bonkovic M. Comparison and evaluation of machine learning-based classification of hand gestures captured by inertial sensors // Computation. 2022. V. 10. N 9. P. 159. https://doi.org/10.3390/computation10090159

16. Ogundokun R.O., Maskeliunas R., Misra S., Damasevicius R. Hybrid inceptionv3-svm-based approach for human posture detection in health monitoring systems // Algorithms. 2022. V. 15. N 11. P. 410. https://doi.org/10.3390/a15110410

17. Farhadpour S., Warner T.A., Maxwell A.E. Selecting and interpreting multiclass loss and accuracy assessment metrics for classifications with class imbalance: Guidance and best practices // Remote Sensing. 2024. V. 16. N 3. P. 533. https://doi.org/10.3390/rs16030533

18. Jiang Y., Song L., Zhang J., Song Y., Yan M. Multi-category gesture recognition modeling based on sEMG and IMU signals // Sensors. 2022. V. 22. N 15. P. 5855. https://doi.org/10.3390/s22155855

19. Lin W.C., Tu Y.C., Lin H.Y., Tseng M.H. A comparison of deep learning techniques for pose recognition in Up-and-Go pole walking exercises using skeleton images and feature data // Electronics. 2025. V. 14. N 6. P. 1075. https://doi.org/10.3390/electronics14061075

20. Mohammadzadeh A.K., Alinezhad E., Masoud S. Neural-NetworkDriven intention recognition for enhanced Human–Robot Interaction: a Virtual-Reality-Driven approach // Machines. 2025. V. 13. N 5. P. 414. https://doi.org/10.3390/machines13050414