Методы выделения локальных признаков лица на изображении при аутентификации человека по термограмме

Предмет исследования. Представлено исследование методов выделения локальных признаков на изображении применительно к задаче аутентификации человека по термограмме лица. Сформированы выборки фотоизображений и изображений лиц в дальнем инфракрасном диапазоне. Новизна исследования состоит в особенностях выборки изображений в реальных условиях, оказывающих влияние на качество аутентификации, таких как мимика, ношение очков или медицинской маски, нанесение грима/косметики, различная освещенность и температурные условия окружающей среды, повороты головы. Методы. Основа исследуемых методов заключается в построении вектора признаков изображения при сокращении размерности и выделении границ. Подобные методы решают задачи выделения признаков на изображениях, при аутентификации по 2D-изображению лица и при использовании компьютерного зрения. Применены классические методы выделения локальных признаков изображения: метод локально-бинарных шаблонов, вейвлеты Габора, масштабноинвариантная трансформация признаков, локальный дескриптор Вебера. В качестве классификаторов для векторов признаков изображений приняты базовые методы машинного обучения: метод опорных векторов и простейший персептрон. Основные результаты. Обучение и тестирование методов выполнено на наборе, состоящем из 632 тысяч изображений лиц 158 человек. В качестве метрики для оценки качества сопоставления выбранных методов использована точность. В результате для метода локально-бинарных признаков наиболее высокие значения точности соответствуют: термограммам лиц — 0,57 (для метода обучения опорных векторов) и 0,58 (для простейшего персептрона), фотоизображениям — 0,71 и 0,73 соответственно. Использование метода масштабно-инвариантной трансформации признаков показало схожие результаты: для термограмм лиц — 0,58 и 0,55, для фотоизображений — 0,72 и 0,74. Применение вейвлеты Габора и локального дескриптора Вебера показало низкие значения точности в задаче аутентификации для обоих типов изображений. Практическая значимость. Результаты работы могут найти применения в системах контроля и управления доступом для повышения отказоустойчивости аутентификации лиц. Использование рассмотренных методов эффективно в задачах обработки термограмм для аутентификации человека по так называемым «вторичным» признакам, например, по рисунку его вен и сосудов на лице, в случаях изменения мимики и внешности.

1. Zhao W., Chellappa R., Phillips P.J., Rosenfeld A. Face recognition: a literature survey // ACM Computing Surveys. 2003. V. 35. N 4. P. 399–458. https://doi.org/10.1145/954339.954342

2. Cutler R. Face recognition using infrared images and eigenfaces. 1999 [Электронный ресурс]. URL: https://www.researchgate.net/publication/2375350_Face_Recognition_Using_Infrared_Images_and_Eigenfaces (дата обращения: 21.12.2021).

3. Krišto M., Ivašić-Kos M. An overview of thermal face recognition methods // Proc. of the 41st International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO). 2018. P. 1098–1103. https://doi.org/10.23919/MIPRO.2018.8400200

4. Hermosilla G., Ruiz-del-Solar J., Verschae R., Correa M. A comparative study of thermal face recognition methods in unconstrained environments // Pattern Recognition. 2012. V. 45. N 7. P. 2445–2459. https://doi.org/10.1016/j.patcog.2012.01.001

5. Akhloufi M.A., Bendada A. Infrared face recognition using texture descriptors // Proceedings of SPIE. 2010. V. 7661. P. 766109. https://doi.org/10.1117/12.849764

6. Méndez H., Martín C.S., Kittler J., Plasencia Y., García-Reyes E. Face recognition with LWIR imagery using local binary patterns // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2009. V. 5558. P. 327–336. https://doi.org/10.1007/978-3-642-01793-3_34

7. Simón M.O., Corneanu C., Nasrollahi K., Nikisins O., Escalera S., Escalera S., Sun Y., Li H., Sun Z., Moeslund T.B., Greitans M. Improved RGB-D-T based face recognition // IET Biometrics. 2016. V. 5. N 4. P. 297–303. https://doi.org/10.1049/iet-bmt.2015.0057

8. Bebis G., Gyaourova A., Singh S., Pavlidis I. Face recognition by fusing thermal infrared and visible imagery // Image and Vision Computing. 2006. V. 24. N 7. P. 727–742. https://doi.org/10.1016/j.imavis.2006.01.017

9. Palm R.B. Prediction as a candidate for learning deep hierarchical models of data. 2012 [Электронный ресурс]. URL: https://www2.imm.dtu.dk/pubdb/pubs/6284-full.html (дата обращения: 05.01.2022).

10. Ojala T., Pietikäinen M., Harwood D. A comparative study of texture measures with classification based on feature distributions // Pattern Recognition. 1996. V. 29. N 1. P. 51–59. https://doi.org/10.1016/0031-3203(95)00067-4

11. Okajima K. Two-dimensional Gabor-type receptive field as derived by mutual information maximization // Neural Networks. 1998. V. 11. N 3. P. 441–447. https://doi.org/10.1016/S0893-6080(98)00007-0

12. Kyrki V., Kamarainen J.-K., Kalviainen H. Simple Gabor feature space for invariant object recognition // Pattern Recognition Letters. 2004. V. 25. N 3. P. 311–318. https://doi.org/10.1016/j.patrec.2003.10.008

13. Lee D.D., Seung H.S. Algorithms for non-negative matrix factorization // Advances in Neural Information Processing Systems. 2001. V. 13. P. 556–562.

14. Bolme D.S., Beveridge J.R., Teixeira M., Draper B.A. The CSU face identification evaluation system: Its purpose, features, and structure // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2003. V. 2626. P. 304–311. https://doi.org/10.1007/3-540-36592-3_29