Обухов Артём Дмитриевич — доктор технических наук, профессор, ведущий научный сотрудник
sc 56104232400
Тамбов, 392000
Artem D. Obukhov —
sc 56104232400
Tambov, 392000
Введение. Выполнен анализ мультисенсорных данных, полученных от электромиографа, инерциальных измерительных устройств, системы компьютерного зрения и трекеров виртуальной реальности, для решения задачи классификации двигательной активности человека. Актуальность решения данной задачи обусловлена необходимостью анализа и распознавания двигательной активности человека при использовании различных программно-аппаратных комплексов, например, реабилитационных и тренажерных систем. Для оптимального решения задачи распознавания типа движений рук с наибольшей точностью оценивается вклад каждого источника сигналов, а также выполняется сравнение различных моделей машинного обучения.
Метод. Подход к обработке мультисенсорных данных включает синхронизированный сбор потоков от различных источников, разметку исходных данных, фильтрацию сигналов; двойное выравнивание временных рядов по частоте и длительности с аппроксимацией до общей константы, формирование общего набора данных, обучение и выбор модели машинного обучения для распознавания двигательной активности рук. Рассматриваются девять моделей машинного обучения: логистическая регрессия, k-ближайших соседей, наивный байесовский классификатор, дерево решений и ансамбли на их основе (случайный лес, AdaBoost, Extreme Gradient Boosting, Voting и Stacking Classifier). Разработанный подход синхронизации, фильтрации и двойного выравнивания потоков данных позволяет сформировать унифицированный набор данных мультисенсорных данных для обучения моделей.
Основные результаты. Проведен эксперимент по классификации девяти категорий движений рук на основе анализа мультисенсорных данных (собрано 629 записей от 15 участников). Обучение выполнялось на 80 % собранных данных с пятикратной перекрестной проверкой. Показано, что ансамбль AdaBoost обеспечивает точность классификации 98,8 % на наборе данных из объединенных от четырех различных источников информации. В ходе абляционного анализа для сравнения источников данных, наибольшее влияние на итоговую точность классификации оказывает информация от трекеров виртуальной реальности (до 98,73 ± 1,78 % точности на модели AdaBoost), данные о мышечной активности от электромиографа являются наименее информативными. Определено, что высокая точность классификации двигательной активности может быть получена с использованием инерциальных измерительных устройств.
Обсуждение. Исследование формализует воспроизводимый подход к обработке мультисенсорных данных и позволяет объективно сравнить вклад различных источников информации и моделей машинного обучения при решении задачи классификации двигательной активности рук пользователя в рамках реабилитационных и виртуальных тренажерных систем. Показано, что при ограничениях по ресурсам возможно отказаться от части источников данных без существенной потери точности классификации, упростив аппаратную конфигурацию систем отслеживания, перейти от закрытых коммерческих систем (трекеров виртуальной реальности) к более доступным и компактным инерциальным измерительным устройствам.
An analysis of multisensor data obtained from an electromyograph, inertial measurement devices, a computer-vision system, and virtual-reality trackers was performed in order to solve the problem of classifying human motor activity. The relevance of solving this problem is determined by the necessity of analyzing and recognizing human motor activity when using various hardware and software complexes, for example, rehabilitation and training systems. For the optimal solution of the task of recognizing the type of hand movements with the highest accuracy, the contribution of each signal source is evaluated, and a comparison of various machine-learning models is performed. The approach to processing multisensor data includes: synchronized acquisition of streams from different sources; labeling of the initial data; signal filtering; dual alignment of time series by frequency and duration with approximation to a common constant; formation of a common dataset; training and selection of a machine-learning model for recognizing motor activity of the hands. Nine machine-learning models are considered: logistic regression, k-nearest neighbors, naïve Bayes classifier, decision tree, and ensembles based on them (Random Forest, AdaBoost, Extreme Gradient Boosting, Voting, and Stacking Classifier). The developed approach of synchronization, filtering, and dual alignment of data streams makes it possible to form a unified dataset of multisensor data for model training. An experiment was carried out on the classification of nine categories of hand movements based on the analysis of multisensor data (629 recordings collected from 15 participants). Training was performed on 80 % of the collected data with five-fold cross-validation. The AdaBoost ensemble provides a classification accuracy of 98.8 % on the dataset composed of the combined information from four different sources. In the course of ablation analysis for comparing the data sources, the greatest influence on the final classification accuracy is exerted by information from virtual-reality trackers (up to 98.73 % ± 1.78 % accuracy on the AdaBoost model), while data on muscle activity from the electromyograph turned out to be the least informative. It was determined that high classification accuracy of motor activity can be obtained using inertial measurement devices. The considered study formalizes a reproducible approach to processing multisensor data and makes it possible to objectively compare the contribution of different sources of information and machine-learning models in solving the problem of classifying the motor activity of the user’s hands within rehabilitation and virtual training systems. It is shown that under resource limitations it is possible to refuse part of the data sources without significant loss of classification accuracy, simplifying the hardware configuration of tracking systems and making it possible to move from closed commercial systems (virtual-reality trackers) to more accessible and compact inertial measurement devices.
The authors declare that there are no conflicts of interest present.