Алгоритм взаимодействия человека с моделью индустриальной киберфизической системы посредством нейроинтерфейса

   Введение. Предложен алгоритм реализации интерфейса мозг-компьютер для осуществления взаимодействия человека с моделью индустриальной киберфизической системы. Интерфейс обеспечивает выбор задуманной детали на основе классификации вызванного ответа электроэнцефалограммы испытуемого на предъявление зрительных стимулов (изображений деталей).

   Метод. Для проведения исследования был разработан программный комплекс, система управления которого состоит из веб-сервера, контроллера и пользовательского интерфейса мозг-компьютер. Биоэлектрическая активность мозга испытуемого непрерывно регистрировалась с использованием электроэнцефалографа ООО «Мицар», далее с помощью разработанного оригинального программного обеспечения проводилась обработка электроэнцефалографических сигналов в онлайн-режиме. Проведена классификация накопленных вызванных потенциалов на стимул различными способами: выбором на основании амплитудных значений, использованием метода опорных векторов и нейронной сетью.

   Основные результаты. Показано, что точности классификации вызванных потенциалов при помощи нейронной сети и метода опорных векторов примерно равны и данные алгоритмы могут быть реализованы в режиме реального времени (онлайн). Анализ проведенных экспериментов доказал, что предложенный алгоритм позволяет классифицировать предъявляемые зрительные стимулы в нейроинтерфейсах в онлайн-режиме.

   Обсуждение. Результаты работы продемонстрировали возможность организации «глубоко интегрированного» взаимодействия человека с оборудованием, посредством воздействия команд, сформированных на основе обработанных сигналов биоэлектрической активности мозга человека на 3D-модель производственного участка.

1. Nazarenko A.A., Camarinha-Matos L.M. A human-al framework to design collaborative cyber physical systems // IFIP Advances in Information and Communication Technology. 2024. V. 716. P. 28–42. doi: 10.1007/978-3-031-63851-0_2

2. Colombo A.W., Karnouskos S., Hanisch C. Engineering human-focused Industrial Cyber-Physical Systems in Industry 4.0 context // Philosophical Transactions of the Royal Society A Mathematical Physical and Engineering Sciences. 2021. V. 379. N 2207. P. 20200366. doi: 10.1098/rsta.2020.0366

3. Schmidt D., Diez J.V., Ordieres-Meré J., Gevers R., Schwiep J., Molina M. Industry 4.0 lean shopfloor management characterization using EEG sensors and deep learning // Sensors. 2020. V. 20. N 10. P. 2860. doi: 10.3390/s20102860

4. Piardi L., Leitão P., Queiroz J., Pontes J. Role of digital technologies to enhance the human integration in industrial cyber–physical systems // Annual Reviews in Control. 2024. V. 57. P. 100934. doi: 10.1016/j.arcontrol.2024.100934

5. Zhou J., Zhou Y., Wang B., Zang J. Human–Cyber–Physical Systems (HCPSs) in the context of new-generation intelligent manufacturing // Engineering. 2019. V. 5. N 4. P. 624–636. doi: 10.1016/j.eng.2019.07.015

6. Slavic D., Marjanovic U., Pezzotta G., Turcin I., Rakic S. Servitization and industry 5.0: the future trends of manufacturing transformation // IFIP Advances in Information and Communication Technology. 2023. V. 690. P. 109–121. doi: 10.1007/978-3-031-43666-6_8

7. Slavic D., Romero D., Pezzotta G., Marjanovic U., Savkovic B., Popan I.A., Rakic S. Towards human-centric digital services: a development framework // IFIP Advances in Information and Communication Technology. 2024. V. 732. P. 184–197. doi: 10.1007/978-3-031-71637-9_13

8. Reddy K.K., Reddy A.V., Doss S., Priyanka K. Human-machine collaboration and emotional intelligence in Industry 6.0: concepts, challenges, and future directions // Examining the Metaverse in Healthcare. 2024. P. 221–246. doi: 10.4018/979-8-3693-1515-6.ch009

9. Бабкин А.В., Шкарупета Е.В. Индустрия 6.0: сущность, тенденции и стратегические возможности для России // Экономика промышленности. 2024. Т. 17. № 4. C. 353–377. doi: 10.17073/2072-1633-2024-4-1369

10. Värbu K., Muhammad N., Muhammad Y. Past, present, and future of EEG-based BCI applications // Sensors. 2022. V. 2. N 9. P. 3331. doi: 10.3390/s22093331

11. Kitchener P.D., Hales C.G. What neuroscientists think, and don’t think, about consciousness // Frontiers in Human Neuroscience. 2022. V. 16. P. 767612. doi: 10.3389/fnhum.2022.767612

12. Douibi K., Le Bars S., Lemontey A., Nag L., Balp R., Breda G. Toward EEG-based BCI applications for Industry 4.0: challenges and possible applications // Frontiers in Human Neuroscience. 2021. V. 15. P. 705064. doi: 10.3389/fnhum.2021.705064

13. Гунделах Ф.В., Станкевич Л.А., Сонькин К.М., Нагорнова Ж.В, Шемякина Н.В. Применение интерфейсов «мозг-компьютер» в ассистивных технологиях // Труды СПИИРАН. 2020. Т. 19. № 2. C. 277–301. doi: 10.15622/sp.2020.19.2.2

14. Gundelakh F., Stankevich L., Sonkin K. Mobile robot control based on noninvasive brain-computer interface using hierarchical classifier of imagined motor commands // MATEC Web of Conferences. 2018. V. 161. P. 03003. doi: 10.1051/matecconf/201816103003

15. Капралов Н.В., Нагорнова Ж.В., Шемякина Н.В. Методы классификации ЭЭГ-паттернов воображаемых движений // Информатика и автоматизация. 2021. Т. 20. № 1. C. 94–132. doi: 10.15622/ia.2021.20.1.4

16. Guo Z., Wu J., Song Y., Bu J., Mai W., Zheng Q., Ouyang W., Song C. Neuro-3D: towards 3D visual decoding from EEG signals // arXiv. 2024. arXiv:2411.12248 doi: 10.48550/arXiv.2411.12248

17. Uchimura T. Robots or 3D models control by Brain-Computer Interfaces. Dissertation for the degree of Master of Science (Computer Science). Flinders University, Adelaide, 2021. 40 p.

18. Cao B., Niu H., Hao J., Wang G. Building EEG-based CAD object selection intention discrimination model using convolutional neural network (CNN) // Advanced Engineering Informatics. 2022. V. 52. P. 101548. doi: 10.1016/j.aei.2022.101548

19. Duncana C.C., Barryb R.J., Connollyc J.F., Fischer C., Michie P.T., Näätänen R., et al. Event-related potentials in clinical research: Guidelines for eliciting, recording, and quantifying mismatch negativity, P300, and N400 // Clinical Neurophysiology. 2009. V. 120. N 11. P. 1883–1908. doi: 10.1016/j.clinph.2009.07.045

20. Gonzalez-Santocildes A., Vazquez J.-I., Eguiluz A. Enhancing robot behavior with EEG, reinforcement learning and beyond : a review of techniques in collaborative robotics // Applied Sciences. 2024. V. 14. N 14. P. 6345. doi: 10.3390/app14146345

21. Александров М.В., Иванов Л.Б., Лытаев С.А. Электроэнцефалография : Руководство. СПб.: СпецЛит, 2020. 224 c.

22. Марусина М.Я., Бурдаев И.В. Автоматическое распознавание зрительных стимулов по единичным вызванным потенциалам на электроэнцефалограмме // Известия высших учебных заведений. Приборостроение. 2023. Т. 66. № 3. С. 247–250. doi: 10.17586/0021-3454-2023-66-3-247-250

23. Baiano C., Zeppieri M. Visual Evoked Potential // StatPearls [Internet]. 2023. PMID: 35881733

24. Флах П. Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных. М.: ДМК Пресс, 2015. 402 с.

25. Вейдман С. Глубокое обучение: легкая разработка проектов на Python. СПб.: Питер, 2021. 272 с.

26. Qi J., Hu J., Peng Y., Ren Q., Wang W., Zhan Z. Integration of similarity measurement and dynamic SVM for electrically evoked potentials prediction in visual prostheses research // Expert Systems with Applications. 2011. V. 38. N 5. P. 5044–5060. doi: 10.1016/j.eswa.2010.09.145

27. Swihart S.L., Matheny A. Classification of chromatic visual evoked potentials with the aid of a neural net // Computers in Biology and Medicine. 1992. V. 22. N 3. P. 165–171. doi: 10.1016/0010-4825(92)90012-c

28. Zheng X., Cao Z., Bai Q. An evoked potential-guided deep learning brain representation for visual classification // Communications in Computer and Information Science. 2020. V. 1333. P. 54–61. doi: 10.1007/978-3-030-63823-8_7

29. Zhang Y., Xie S., Wang H., Zhang Z. Data analytics in steady-state visual evoked potential-based brain-computer interface : a review // IEEE Sensors Journal. 2021. V. 21. N 2. P. 1124–1138. doi: 10.1109/jsen.2020.3017491

30. Cui Z., Chen W., Chen Y. Multi-scale convolutional neural networks for time series classification // arXiv. 2016. arXiv:1603.06995. https://arxiv.org/abs/1603.06995