ntvНаучно-технический вестник информационных технологий, механики и оптикиScientific and Technical Journal of Information Technologies, Mechanics and Optics2226-14942500-0373Университет ИТМО10.17586/2226-1494-2022-22-1-120-126ntv-282Research ArticleКОМПЬЮТЕРНЫЕ СИСТЕМЫ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИCOMPUTER SCIENCEРаспознавание эмоционального состояния человека на основе сверточной нейронной сетиRecognition of the emotional state based on a convolutional neural networkhttps://orcid.org/0000-0001-9004-3554СомаГ. М.SomaG. M.

Сома Гедеш Мануэл — аспирант

Санкт-Петербург, 197101

Guedes M. Soma — PhD Student

Saint Petersburg, 197101

guedes.soma@mail.ruhttps://orcid.org/0000-0002-7758-6578КадноваА. М.KadnovaA. M.

Каднова Айжана Михайловна — научный сотрудник; кандидат технических наук, преподаватель

sc 57217115500

Санкт-Петербург, 197101

Воронеж, 394065

Aizhana M. Kadnova — Scientific Researcher; PhD, Lecturer

sc 57217115500

Saint Petersburg, 197101

Voronezh, 394065

aizhana_kadnova@mail.ruУниверситет ИТМОРоссияITMO UniversityRussian FederationУниверситет ИТМО; Воронежский институт МВД РоссииРоссияITMO University; Voronezh Institute of the Ministry of Internal Affairs of RussiaRussian Federation202217122024221120126Copyright © Сома Г.М., Каднова А.М., 20242024Сома Г.М., Каднова А.М.Soma G.M., Kadnova A.M.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://ntv.elpub.ru/jour/article/view/282

Предмет исследования. Предложено новое решение распознавания эмоционального состояния человека (радость, удивление, грусть, гнев, отвращение, страх и нейтральное состояние) по выражению лица. Наряду с традиционной вербальной коммуникацией эмоции играют значительную роль при определении истинных намерений для реализации коммуникативного акта в различных практических сферах деятельности. Существует большое количество моделей и алгоритмов распознавания эмоций человека по классам и их применения для сопровождения коммуникативного акта. Известные модели дают невысокую точность распознавания эмоциональных состояний. Методы. Для классификации выражений лиц построены два классификатора, реализованные в библиотеке Keras: ResNet50, MobileNet, и предложена новая архитектура классификатора сверточной нейронной сети. Обучение классификаторов осуществлено на наборе данных FER 2013. Основные результаты. Сравнение результатов работы выбранных классификаторов показало, что предложенная модель имеет наилучший результат по точности валидации (60,13 %) и размеру (15,49 МБ), при этом функция потерь составляет 0,079 для точности и 2,80 — для валидации. Практическая значимость. Результаты исследования могут быть использованы для распознавания признаков стресса и агрессивного поведения человека в системах обслуживания населения и в сферах, при наличии общения с большим количеством людей.

The paper proposes a new solution for recognizing the emotional state of a person (joy, surprise, sadness, anger, disgust, fear, and neutral state) by facial expression. Along with traditional verbal communication, emotions play a significant role in determining true intentions during a communicative act in various areas. There is a large number of models and algorithms for recognizing human emotions by class and applying them to accompany a communicative act. The known models show a low accuracy in recognizing emotional states. To classify facial expressions, two classifiers were built and implemented in the Keras library (ResNet50, MobileNet) and a new architecture of a convolutional neural network classifier was proposed. The classifiers were trained on the FER 2013 dataset. Comparison of the results for the chosen classifiers showed that the proposed model has the best result in terms of validation accuracy (60.13 %) and size (15.49 MB), while the loss function is 0.079 for accuracy and 2.80 for validation. The research results can be used to recognize signs of stress and aggressive human behavior in public service systems and in areas characterized by the need to communicate with a large number of people.

ResNet50MobileNetвыражение лицаглубокая нейронная сетьэмоцияклассификацияResNet50MobileNetfacial expressionsdeep neural networkemotionclassificationИсследование выполнено за счет гранта Российского научного фонда (проект № 22-21-00604).This research is financially supported by the Russian Science Foundation, Agreement No. 22-21-00604.ReferencesVarma S., Shinde M., Chavan S.S. Analysis of PCA and LDA features for facial expression recognition using SVM and HMM classifiers // Techno-Societal 2018: Proc. of the 2nd International Conference on Advanced Technologies for Societal Applications. V. 1. 2020. P. 109–119. https://doi.org/10.1007/978-3-030-16848-3_11Varma S., Shinde M., Chavan S.S. Analysis of PCA and LDA features for facial expression recognition using SVM and HMM classifiers. Techno-Societal 2018. Proc. of the 2nd International Conference on Advanced Technologies for Societal Applications. Vol. 1, 2020, pp. 109–119. https://doi.org/10.1007/978-3-030-16848-3_11Рюмина Е.В., Карпов А.А. Аналитический обзор методов распознавания эмоций по выражениям лица человека // Научно-технический вестник информационных технологий, механики и оптики. 2020. Т. 20. № 2. С. 163–176. https://doi.org/10.17586/2226–1494-2020-20-2-163-176Ryumina E.V. Karpov A.A Analytical review of methods for emotion recognition by human face expressions. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2020, vol. 20, no. 2, pp. 163–176. (in Russian ). https://doi.org/10.17586/2226–1494-2020-20-2-163-176Ахметшин Р.И., Кирпичников А.П., Шлеймович М.П. Распознавание эмоций человека на изображениях // Вестник технологического университета. 2015. Т. 18. № 11. С. 160–163.Akhmetshin R.I., Kirpichnikov A.P., Shleimovich M.P. Human emotion recognition in images. Vestnik Technologicheskogo Universiteta, 2015, vol. 18, no. 11, pp. 160–163. (in Russian)Эрман Е.А., Мамдух Мохаммед Гомаа Мохаммед. Метод обнаружения лиц на изображении с использованием комбинации метода Виолы-Джонса и алгоритмов определения цвета кожи // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2015. № 1. С. 49–55.Erman E.A., Mamdouh Mokhammed Gomaa Mokhammed. Face detection in image by using a combination of Viola — Jones method and skin detection algorithms. Vestnik of Astrakhan State Technical University. Series: Management, Computer Sciences and Informatics, 2015, no. 1, pp. 49–55. (in Russian)Мухамадиева К.Б. Сравнительный анализ алгоритмов распознавания лиц // Современные материалы, техника и технологии. 2017. № 7(15). С. 58–62.Mukhamadieva K.B. Comparative analysis of facial recognition algorithms. Modern Materials, Equipment, and Technology, 2017, no. 7(15), pp. 58–62. (in Russian)Амелькин С.А., Захаров А.В., Хачумов В.М. Обобщенное расстояние Евклида Махаланобиса и его свойства // Информационные технологии и вычислительные системы. 2006. № 4. С. 40–44.Amelkin S. A., Zakharov A.V., Khachumov V.M. Generalized Mahalanobis Euclidean distance and its properties. Information Technologies and Computer Systems, 2006, no. 4, pp. 40–44. (in Russian)Karamizadeh S., Abdullah S.M., Manaf A.A., Zamani M., Hooman A. An overview of principal component analysis // Journal of Signal and Information Processing. 2013. V. 4. P. 173–175. https://doi.org/10.4236/jsip.2013.43B031Karamizadeh S., Abdullah S.M., Manaf A.A., Zamani M., Hooman A. An overview of principal component analysis // Journal of Signal and Information Processing. 2013. V. 4. P. 173–175. https://doi.org/10.4236/jsip.2013.43B031Dino H.I., Abdulrazzaq M.B. Facial expression classification based on SVM, KNN and MLP classifiers // Proc. of the International Conference on Advanced Science and Engineering (ICOASE 2019). 2019. P. 70–75. https://doi.org/10.1109/ICOASE.2019.8723728Dino H.I., Abdulrazzaq M.B. Facial expression classification based on SVM, KNN and MLP classifiers // Proc. of the International Conference on Advanced Science and Engineering (ICOASE 2019). 2019. P. 70–75. https://doi.org/10.1109/ICOASE.2019.8723728Greche L., Es-Sbai N., Lavendelis E. Histogram of oriented gradient and multi layer feed forward neural network for facial expression identification // Proc. of the International Conference on Control, Automation and Diagnosis (ICCAD 2017). 2017. P. 333–337. https://doi.org/10.1109/CADIAG.2017.8075680Greche L., Es-Sbai N., Lavendelis E. Histogram of oriented gradient and multi layer feed forward neural network for facial expression identification // Proc. of the International Conference on Control, Automation and Diagnosis (ICCAD 2017). 2017. P. 333–337. https://doi.org/10.1109/CADIAG.2017.8075680Greche L., Akil M., Kachouri R., Es-Sbai N. A new pipeline for the recognition of universal expressions of multiple faces in a video sequence // Journal of Real-Time Image Processing. 2020. V. 17. N 5. P. 1389–1402. https://doi.org/10.1007/s11554-019-00896-5Greche L., Akil M., Kachouri R., Es-Sbai N. A new pipeline for the recognition of universal expressions of multiple faces in a video sequence // Journal of Real-Time Image Processing. 2020. V. 17. N 5. P. 1389–1402. https://doi.org/10.1007/s11554-019-00896-5Kulke L., Brümmer L., Pooresmaeili A., Schacht A. Overt and covert attention shifts to emotional faces: Combining EEG, eye tracking, and a go/no-go paradigm // Psychophysiology. 2021. V. 58. N 8. P. e13838. https://doi.org/10.1111/psyp.13838Kulke L., Brümmer L., Pooresmaeili A., Schacht A. Overt and covert attention shifts to emotional faces: Combining EEG, eye tracking, and a go/no-go paradigm // Psychophysiology. 2021. V. 58. N 8. P. e13838. https://doi.org/10.1111/psyp.13838Aleksic P.S., Katsaggelos A.K. Automatic facial expression recognition using facial animation parameters and multistream HMMs // IEEE Transactions on Information Forensics and Security. 2006. V. 1. N 1. P. 3–11. https://doi.org/10.1109/TIFS.2005.863510Aleksic P.S., Katsaggelos A.K. Automatic facial expression recognition using facial animation parameters and multistream HMMs // IEEE Transactions on Information Forensics and Security. 2006. V. 1. N 1. P. 3–11. https://doi.org/10.1109/TIFS.2005.863510Gardner M.W., Dorling S.R. Artificial neural networks (the multilayer perceptron) — a review of applications in the atmospheric sciences // Atmospheric Environment. 1998. V. 32. N 14-15. P. 2627–2636. https://doi.org/10.1016/S1352-2310(97)00447-0Gardner M.W., Dorling S.R. Artificial neural networks (the multilayer perceptron) — a review of applications in the atmospheric sciences // Atmospheric Environment. 1998. V. 32. N 14-15. P. 2627–2636. https://doi.org/10.1016/S1352-2310(97)00447-0Cao H., Cooper D.G., Keutmann M.K., Gur R.C., Nenkova A., Verma R. CREMA-D: Crowd-sourced emotional multimodal actors dataset // IEEE Transactions on Affective Computing. 2014. V. 5. N 4. P. 377–390. https://doi.org/10.1109/TAFFC.2014.2336244Cao H., Cooper D.G., Keutmann M.K., Gur R.C., Nenkova A., Verma R. CREMA-D: Crowd-sourced emotional multimodal actors dataset // IEEE Transactions on Affective Computing. 2014. V. 5. N 4. P. 377–390. https://doi.org/10.1109/TAFFC.2014.2336244Challenges in Representation Learning Facial Expression Recognition Challenge [Электронный ресурс]. URL: https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge (дата обращения: 13.11.2021).Challenges in Representation Learning Facial Expression Recognition Challenge [Электронный ресурс]. URL: https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge (дата обращения: 13.11.2021).

The authors declare that there are no conflicts of interest present.