Метод детектирования пространственного положения рук по данным глубинных камер для малопроизводительных вычислительных устройств
https://doi.org/10.17586/2226-1494-2022-22-2-410-414
Аннотация
Предложен метод определения направления рук в пространстве с применением малопроизводительных устройств интернета вещей. Метод основан на применении алгоритмов, предназначенных для решения задач оценки позы человека (данный класс задач известен как Human Pose Estimation, HPE). На базе алгоритмов построена модель обнаружения направлений рук. Выполнено тестирование и сравнение известных алгоритмов PoseNet и OpenPose, положенных в основу разработанного метода, по среднему углу ошибки. В качестве аппаратной платформы применен одноплатный компьютер Raspberry Pi 4B и глубинный сенсор Intel RealSense D435i. Разработанный метод может быть применен в системах управления жестами для системы «умный дом».
Об авторах
Д. С. Медведев
Университет ИТМО
Россия
Россия
Медведев Дмитрий Сергеевич — инженер
Санкт-Петербург, 197101
А. Д. Игнатов
Федеральный исследовательский центр «Информатика и управление» РАН
Россия
Россия
Игнатов Андрей Дмитриевич — инженер-исследователь
Москва, 119333
sc 57205407925
Список литературы
1. Шматков В.Н., Бонковски П., Медведев Д.С., Корзухин С.В., Голендухин Д.В., Спыну С.Ф., Муромцев Д.И. Взаимодействие с устройствами интернета вещей с использованием голосового интерфейса // Научно-технический вестник информационных технологий, механики и оптики. 2019. Т. 19. № 4. С. 714–721. https://doi.org/10.17586/2226-1494-2019-19-4-714-721
2. Chen W., Yu C., Tu C., Lyu Z., Tang J., Ou S., Fu Y., Xue Z. A survey on hand pose estimation with wearable sensors and computer-visionbased methods // Sensors. 2020. V. 20. N 4. P. 1074. https://doi.org/10.3390/s20041074
3. Shotton J., Fitzgibbon A., Cook M., Sharp T., Finocchio M., Moore R., Kipman A., Blake A. Real-time human pose recognition in parts from single depth images // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2011. P. 1297– 1304. https://doi.org/10.1109/CVPR.2011.5995316
4. Hernández-Vela A., Zlateva N., Marinov A., Reyes M., Radeva P., Dimov D., Escalera S. Graph cuts optimization for multi-limb human segmentation in depth maps // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition. 2012. P. 726–732. https://doi.org/10.1109/CVPR.2012.6247742
5. Ye M., Wang X., Yang R., Ren L., Pollefeys M. Accurate 3D pose estimation from a single depth image // Proc. of the IEEE International Conference on Computer Vision. 2011. P. 731–738. https://doi.org/10.1109/ICCV.2011.6126310
6. Shafaei A., Little J.J. Real-time human motion capture with multiple depth cameras // Proc. of the 13th Conference on Computer and Robot Vision (CRV). 2016. P. 24–31. https://doi.org/10.1109/CRV.2016.25
7. Marin-Jimenez M.J., Romero-Ramirez F.J., Muñoz-Salinas R., Medina-Carnicer R. 3D human pose estimation from depth maps using a deep combination of poses // Journal of Visual Communication and Image Representation. 2018. V. 55. P. 627–639. https://doi.org/10.1016/j.jvcir.2018.07.010
8. Cao Z., Hidalgo G., Simon T., Wei S.-E., Sheikh Y. OpenPose: Realtime Multi-person 2D pose estimation using part affinity fields // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2021. V. 43. N 1. P. 8765346. https://doi.org/10.1109/ TPAMI.2019.2929257
9. Kendall A., Grimes M., Cipolla R. PoseNet: A convolutional network for real-time 6-dof camera relocalization // Proc. of the 15th IEEE International Conference on Computer Vision (ICCV). 2015. P. 2938– 2946. https://doi.org/10.1109/ICCV.2015.336
Рецензия
Для цитирования:
Медведев Д.С., Игнатов А.Д. Метод детектирования пространственного положения рук по данным глубинных камер для малопроизводительных вычислительных устройств. Научно-технический вестник информационных технологий, механики и оптики. 2022;22(2):410-414. https://doi.org/10.17586/2226-1494-2022-22-2-410-414
For citation:
Medvedev D.S., Ignatov A.D. Method for discovering spatial arm positions with depth sensor data at low-performance devices. Scientific and Technical Journal of Information Technologies, Mechanics and Optics. 2022;22(2):410-414. (In Russ.) https://doi.org/10.17586/2226-1494-2022-22-2-410-414
Просмотров:
3
Послать статью по эл. почте 