Использование антропометрических точек для внесения ограничений в синтез трехмерной модели тела человека с помощью SMPL

Введение. Генерация реалистичной трехмерной модели тела человека является очень трудоемкой задачей. Даже при наличии необходимых вычислительных ресурсов возникают ошибки генерации на фигурах людей, отличающихся от среднего телосложения. В работе предложен экспериментальный алгоритм считывания антропометрических данных с двух фотографий, сделанных в анфас и в профиль. Метод. Предлагаемое решение проблемы генерации с помощью выделения антропометрических точек предполагает задание ограничений модели Skinned Multi-Person Linear Model (SMPL). Для сегментации тела человека на основе эмпирических исследований применена модификация полносвязной сверточной нейронной сети Fully connected (FCN) ResNet101, обученная на наборе данных Common Objects in Context (COCO) Segmentation 2017. С ее помощью получена основа для детекции антропометрических точек на фотографии человека в анфас и в профиль. Погрешность в определении антропометрических точек составила от 2 до 5 % в зависимости от их расположения. Ограничения для модели рендеринга SMPL вычислены с использованием алгоритма Левенберга–Марквардта. Для его корректной работы предложена специальная функция стоимости, учитывающая особенности данной задачи. Основные результаты. Собранный авторами статьи набор данных (117 человек разного телосложения и роста) показал, что предложенный метод позволяет получить малую среднюю абсолютную ошибку (MAE = 0,0395 м) и высокий коэффициент детерминации (R2 = 0,913). Обсуждение. Граф антропометрических точек задает более строгие условия генерации фигуры и любое отклонение от графа является следствием большой ошибки генерации. Предложенное решение позволило достаточно точно сгенерировать модель тела человека. При этом сохранены невысокие требования к вычислительным ресурсам и качеству первоначальных фотографий пользователей. Представленный подход может найти применение в онлайн-примерочных, что дает возможность восстановить фигуру всего по двум снимкам, а также точно воспроизвести особенности мужских и женских фигур.

1. Robinette K.M., Daanen H., Paquet E. The CAESAR project: a 3-D surface anthropometry survey // Proc. of the Second International Conference on 3-D Digital Imaging and Modeling (Cat. No. PR00062). 1999. P. 380–386. https://doi.org/10.1109/im.1999.805368

2. Hirshberg D.A., Loper M., Rachlin E., Black M.J. Coregistration: Simultaneous alignment and modeling of articulated 3D shape // Lecture Notes in Computer Science. 2012. V. 7577. P. 242–255. https://doi.org/10.1007/978-3-642-33783-3_18

3. Loper M., Mahmood N., Romero J., Pons-Moll G., Black M.J. SMPL: A skinned multi-person linear model // ACM Transactions on Graphics. 2015. V.34. N 6. P.1 – 16. https://doi.org/10.1145/2816795.2818013

4. Pearson K. LIII. On lines and planes of closest fit to systems of points in space // The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science. 1901. V. 2. N 11. P. 559–572. https://doi.org/10.1080/14786440109462720

5. Kanazawa A., Black M.J., Jacobs D.W., Malik J. End-to-end recovery of human shape and pose // Proc. of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2018. P. 7122–7131. https://doi.org/10.1109/cvpr.2018.00744

6. Lin T.Y., Maire M., Belongie S., Hays J., Perona P., Ramanan D., Dollár P., Zitnick C.L. Microsoft COCO: Common objects in context // Lecture Notes in Computer Science. 2014. V. 8693. P. 740–755. https://doi.org/10.1007/978-3-319-10602-1_48

7. He K., Zhang X., Ren S., Sun J. Identity mappings in deep residual networks // Lecture Notes in Computer Science. 2016. V. 9908. .P 630–645. https://doi.org/10.1007/978-3-319-46493-0_38

8. Ionescu C., Papava D., Olaru V., Sminchisescu C. Human3.6M: Large scale datasets and predictive methods for 3D human sensing in natural environments // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2014. V. 36. N 7. P. 1325–1339. https://doi.org/10.1109/tpami.2013.248

9. Johnson S., Everingham M. Clustered pose and nonlinear appearance models for human pose estimation // Proc. of the British Machine Vision Conference. 2010. P. 12.1–12.11. https://doi.org/10.5244/c.24.12

10. Loper M., Mahmood N., Black M.J. MoSh: Motion and shape capture from sparse markers // ACM Transactions on Graphics. 2014. V. 33. N 6. P. 1–13. https://doi.org/10.1145/2661229.2661273

11. Andriluka M., Pishchulin L., Gehler P., Schiele B. 2D human pose estimation: New benchmark and state of the art analysis // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition. 2014. P. 3686–3693. https://doi.org/10.1109/cvpr.2014.471

12. Mehta D., Sridhar S., Sotnychenko O., Rhodin H., Shafiei M., Seidel H.-P., Xu W., Casas D., Theobalt C. VNect: Real-time 3D human pose estimation with a single rgb camera // ACM Transactions on Graphics. 2017. V. 36. N 4. P. 1–14. https://doi.org/10.1145/3072959.3073596

13. Varol G., Ceylan D., Russell B., Yang J., Yumer E., Laptev I., Schmid C. BodyNet: Volumetric inference of 3D human body shapes // Lecture Notes in Computer Science. 2018. V. 11211. P. 20–38. https://doi.org/10.1007/978-3-030-01234-2_2

14. Chang A.X., Funkhouser T., Guibas L., Hanrahan P., Huang Q., Li Z., Savarese S., Savva M., Song S., Su H., Xiao J., Yi L., Yu F. ShapeNet: An information-rich 3D model repository // arXiv. 2015. arXiv:1512.03012. https://doi.org/10.48550/arXiv.1512.03012

15. Varol G., Romero J., Martin X., Mahmood N., Black M.J., Laptev I., Schmid C. Learning from synthetic humans // Proc. of the I IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 109–117. https://doi.org/10.1109/cvpr.2017.492

16. Lassner C., Romero J., Kiefel M., Bogo F., Black M.J., Gehler P.V. Unite the people: Closing the loop between 3D and 2D human representations // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 6050–6059. https://doi.org/10.1109/cvpr.2017.500

17. Bogo F., Kanazawa A., Lassner C., Gehler P., Romero J., Black M.J. Keep it SMPL: Automatic estimation of 3D human pose and shape from a single image // Lecture Notes in Computer Science. 2016. V. 9909. P. 561–578. https://doi.org/10.1007/978-3-319-46454-1_34

18. Pishchulin L., Insafutdinov E., Tang S., Andres B., Andriluka M., Gehler P., Schiele B. DeepCut: Joint subset partition and labeling for multi person pose estimation // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016. P. 4929– 4937. https://doi.org/10.1109/cvpr.2016.533

19. Thiery J.M., Guy É., Boubekeur T. Sphere-meshes: Shape approximation using spherical quadric error metrics // ACM Transactions on Graphics. 2013. V. 32. N 6. P. 1–12. https://doi.org/10.1145/2508363.2508384

20. Long J., Shelhamer E., Darrell T. Fully convolutional networks for semantic segmentation // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. P. 3431–3440. https://doi.org/10.1109/cvpr.2015.7298965

21. Ren S., He K., Girshick R., Sun J. Faster R-CNN: Towards real-time object detection with region proposal networks // Advances in Neural Information Processing Systems. 2015. V. 28. P. 91–99.

22. Ujević D., Rogale D., Drenovac M., Pezelj D., Hrastinski M., Narančić N.S., Mimica Ž., Hrženjak R. Croatian anthropometric system meeting the European Union // International Journal of Clothing Science and Technology. 2006. V. 18. N 3. P. 200–208. https://doi.org/10.1108/09556220610657961

23. Prasanth G.N.S. Golden Ratio in Human Anatomy: Master’s thesis. Chittur: Government College Chittur, 2012.