Метод генерации масок на изображениях лиц и системы их распознавания

Предмет исследования. Исследована проблема распознавания лиц в масках. Показано, что разнообразные по форме, текстуре и цвету реальные маски создают проблемы для современных систем распознавания изображений лиц. Одна из таких причин — отсутствие необходимых реальных наборов обучающих данных. Создание новых данных на базе простых методов формирования масок на изображениях лиц может решить эту проблему.

Метод. Предложен оригинальный метод, включающий генерацию различных типов, форм и цветов масок непосредственно на оригинальной текстуре изображений лиц. При этом учитывалось формирование масок на лицах отдельных людей, лицах в групповых фото и в сценах с потоками людей.

Основные результаты. На основе 100 оригинальных изображений лиц из базы «СUHK Face Sketch Database» создана тестовая база, которая включает в себя более 20 000 изображений лиц с масками, доступных для использования. Выполнены эксперименты по распознаванию лиц тестовой базы в рамках реализованных четырех систем: трех современных на базе «глубокого обучения» и одной детерминированной — на базе косинус-преобразования. Оценена результативность этих систем, интерпретированы полученные результаты распознавания лиц в масках и отмечены маски, которые были проблемой для выбранных систем.

Практическая значимость. Предложенный метод генерации масок может быть использован для создания баз данных и тестовых баз изображений с масками. Полученные результаты будут полезны исследователям и специалистам в области обработки и анализа изображений.

1. Ge S., Li J., Ye Q., Luo Z. Detecting masked faces in the wild with LLE-CNNs // Proc. of the 30th IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 426–434. https://doi.org/10.1109/CVPR.2017.53

2. Ryumina E., Ryumin D., Ivanko D., Karpov A. A novel method for protective face mask detection using convolutional neural networks and image histograms // International Archives of the Photogrammetry Remote Sensing and Spatial Information Sciences. 2021. V. XLIV-2/ W1-2021. P. 177–182. https://doi.org/10.5194/isprs-archives-XLIV2-W1-2021-177-2021

3. Косулин К.Э., Карпов А.А. Методы аудиовизуального распознавания людей в масках (обзорная статья) // Научно-технический вестник информационных технологий, механики и оптики. 2022. Т. 22. № 3. (в печати).

4. Hsu G.-S.J., Wu H.-Y., Tsai C.-H., Yanushkevich S., Gavrilova M. Masked face recognition from synthesis to reality // IEEE Access. 2022. V. 10. P. 37938–37952. https://doi.org/10.1109/ACCESS.2022.3160828

5. Ngan M.L., Grother P. J., Hanaoka K.K. Ongoing Face Recognition Vendor Test (FRVT) Part 6A: Face recognition accuracy with masks using pre-COVID-19 algorithms: NISTIR 8311 / National Institute of Standards and Technology U.S. Department of Commerce. 2020. 58 p. https://doi.org/10.6028/NIST.IR.8311

6. Gorodnichy D., Yanushkevich S., Shmerko V. Automated border control: Problem formalization // Proc. of the IEEE Symposium on Computational Intelligence in Biometrics and Identity. 2014. P. 118–125. https://doi.org/10.1109/CIBIM.2014.7015452

7. Huang B., Wang Z., Wang G., Jiang K., He Z., Zou H., Zou Q. Masked face recognition datasets and validation // Proc. of the 18th IEEE/CVF International Conference on Computer Vision. 2021. P. 1487–1491. https://doi.org/10.1109/ICCVW54120.2021.00172

8. Deng J., Guo J., An X., Zhu Z., Zafeiriou S. Masked face recognition challenge: The insightface track report. Proc. of the 18th IEEE/CVF International Conference on Computer Vision. 2021. P. 1437–1444. https://doi.org/10.1109/ICCVW54120.2021.00165

9. Zhu Z., Huang G., Deng J., Ye Y., Huang J., Chen X., Zhu J., Yang T., Guo J., Lu J., Du D., Zhou J. Masked face recognition challenge: The webface260m track report // arXiv. 2021. arXiv.2108.07189. https://doi.org/10.48550/arXiv.2108.07189

10. Adjabi I., Ouahabi A., Benzaoui A., Taleb-Ahmed A. Past, present, and future of face recognition: A review // Electronics. 2020. V. 9. N 8. P. 1188. https://doi.org/10.3390/electronics9081188

11. Alzu’bi A., Albalas F., Al-Hadhrami T., Younis L.B., Bashayreh A. Masked face recognition using deep learning: A review // Electronics. 2021. V. 10. N 21. P. 2666. https://doi.org/10.3390/electronics10212666

12. Deng J., Guo J., Ververas E., Kotsia I., Zafeiriou S. RetinaFace: Single-shot multi-level face localisation in the wild // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2020. P. 5202–5211. https://doi.org/10.1109/CVPR42600.2020.00525

13. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // Proc. of the 29th IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016. P. 770–778. https://doi.org/10.1109/CVPR.2016.90

14. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition // Proc. of the 3rd International Conference on Learning Representations (ICLR). 2015. P. 1–14.

15. Serengil S.I., Ozpinar A. LightFace: A hybrid deep face recognition framework // Proc. of the IEEE Innovations in Intelligent Systems and Applications Conference (ASYU). 2020. P. 9259802. https://doi.org/10.1109/ASYU50717.2020.9259802

16. Vi ola P., Jones M.J. Robust real-time face detection // International Journal of Computer Vision. 2004. V. 57. N 2. P. 137–154. https://doi.org/10.1023/B:VISI.0000013087.49260.fb

17. Kazemi V., Sullivan J. One millisecond face alignment with an ensemble of regression trees // Proc. of the 27th IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2014. Р. 1867–1874. https://doi.org/10.1109/CVPR.2014.241

18. Shimrat M. Algorithm 112: position of point relative to polygon // Communications of the ACM. 1962. V. 5. N 8. P. 434. https://doi.org/10.1145/368637.368653

19. Агеев М.И., Алик В.П., Марков Ю.И. Библиотека алгоритмов 101б-150б. М.: Радио и связь, 1978. 128 с. (Библиотека технической кибернетики).

20. Гричишин Я.Т., Ефимов В.И., Ломакович А.Н. Алгоритмы и программы на Бейсике: учебное пособие для студентов педагогических институтов по физико-математическим специальностям. М.: Просвещение, 1988. 160 с.

21. Щеголева Н.Л., Кухарев Г.А. Простой алгоритм классификации линейно неразделимых данных // Естественные и технические науки. 2012. № 1(57). С. 358–364.

22. Loey M., Manogaran G., Taha M.H.N., Khalifa N.E.M. A hybrid deep transfer learning model with machine learning methods for face mask detection in the era of the COVID-19 pandemic // Measurement. 2021. V. 167. P. 108288. https://doi.org/10.1016/j.measurement.2020.108288

23. Кухарев Г.А., Каменская Е.И., Матвеев Ю.Н., Щеголева Н.Л. Методы обработки и распознавания изображений лиц в задачах биометрии / под ред. М.В. Хитрова. CПб.: Политехника, 2013. 388 с.

24. Cao Q., Shen L., Xie W., Parkhi O.M., Zisserman A. VGGFace2: A dataset for recognising faces across pose and age // Proc. of the 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG). 2018. P. 67–74. https://doi.org/10.1109/FG.2018.00020

25. Кухарев Г.А., Мауленов К.С., Щеголева Н.Л. Защита изображений лиц от распознавания в социальных сетях: способы решения и их перспективы // Научно-технический вестник информационных технологий, механики и оптики. 2021. Т. 21. № 5. С. 755–766. https://doi.org/10.17586/2226-1494-2021-21-5-755-766