Распознавание эмоционального состояния человека на основе сверточной нейронной сети
https://doi.org/10.17586/2226-1494-2022-22-1-120-126
Аннотация
Предмет исследования. Предложено новое решение распознавания эмоционального состояния человека (радость, удивление, грусть, гнев, отвращение, страх и нейтральное состояние) по выражению лица. Наряду с традиционной вербальной коммуникацией эмоции играют значительную роль при определении истинных намерений для реализации коммуникативного акта в различных практических сферах деятельности. Существует большое количество моделей и алгоритмов распознавания эмоций человека по классам и их применения для сопровождения коммуникативного акта. Известные модели дают невысокую точность распознавания эмоциональных состояний. Методы. Для классификации выражений лиц построены два классификатора, реализованные в библиотеке Keras: ResNet50, MobileNet, и предложена новая архитектура классификатора сверточной нейронной сети. Обучение классификаторов осуществлено на наборе данных FER 2013. Основные результаты. Сравнение результатов работы выбранных классификаторов показало, что предложенная модель имеет наилучший результат по точности валидации (60,13 %) и размеру (15,49 МБ), при этом функция потерь составляет 0,079 для точности и 2,80 — для валидации. Практическая значимость. Результаты исследования могут быть использованы для распознавания признаков стресса и агрессивного поведения человека в системах обслуживания населения и в сферах, при наличии общения с большим количеством людей.
При поддержке: Исследование выполнено за счет гранта Российского научного фонда (проект № 22-21-00604).
Об авторах
Г. М. Сома
Университет ИТМО
Россия
Россия
Сома Гедеш Мануэл — аспирант
Санкт-Петербург, 197101
А. М. Каднова
Университет ИТМО; Воронежский институт МВД России
Россия
Россия
Каднова Айжана Михайловна — научный сотрудник; кандидат технических наук, преподаватель
sc 57217115500
Санкт-Петербург, 197101
Воронеж, 394065
Список литературы
1. Varma S., Shinde M., Chavan S.S. Analysis of PCA and LDA features for facial expression recognition using SVM and HMM classifiers // Techno-Societal 2018: Proc. of the 2nd International Conference on Advanced Technologies for Societal Applications. V. 1. 2020. P. 109–119. https://doi.org/10.1007/978-3-030-16848-3_11
2. Рюмина Е.В., Карпов А.А. Аналитический обзор методов распознавания эмоций по выражениям лица человека // Научно-технический вестник информационных технологий, механики и оптики. 2020. Т. 20. № 2. С. 163–176. https://doi.org/10.17586/2226–1494-2020-20-2-163-176
3. Ахметшин Р.И., Кирпичников А.П., Шлеймович М.П. Распознавание эмоций человека на изображениях // Вестник технологического университета. 2015. Т. 18. № 11. С. 160–163.
4. Эрман Е.А., Мамдух Мохаммед Гомаа Мохаммед. Метод обнаружения лиц на изображении с использованием комбинации метода Виолы-Джонса и алгоритмов определения цвета кожи // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2015. № 1. С. 49–55.
5. Мухамадиева К.Б. Сравнительный анализ алгоритмов распознавания лиц // Современные материалы, техника и технологии. 2017. № 7(15). С. 58–62.
6. Амелькин С.А., Захаров А.В., Хачумов В.М. Обобщенное расстояние Евклида Махаланобиса и его свойства // Информационные технологии и вычислительные системы. 2006. № 4. С. 40–44.
7. Karamizadeh S., Abdullah S.M., Manaf A.A., Zamani M., Hooman A. An overview of principal component analysis // Journal of Signal and Information Processing. 2013. V. 4. P. 173–175. https://doi.org/10.4236/jsip.2013.43B031
8. Dino H.I., Abdulrazzaq M.B. Facial expression classification based on SVM, KNN and MLP classifiers // Proc. of the International Conference on Advanced Science and Engineering (ICOASE 2019). 2019. P. 70–75. https://doi.org/10.1109/ICOASE.2019.8723728
9. Greche L., Es-Sbai N., Lavendelis E. Histogram of oriented gradient and multi layer feed forward neural network for facial expression identification // Proc. of the International Conference on Control, Automation and Diagnosis (ICCAD 2017). 2017. P. 333–337. https://doi.org/10.1109/CADIAG.2017.8075680
10. Greche L., Akil M., Kachouri R., Es-Sbai N. A new pipeline for the recognition of universal expressions of multiple faces in a video sequence // Journal of Real-Time Image Processing. 2020. V. 17. N 5. P. 1389–1402. https://doi.org/10.1007/s11554-019-00896-5
11. Kulke L., Brümmer L., Pooresmaeili A., Schacht A. Overt and covert attention shifts to emotional faces: Combining EEG, eye tracking, and a go/no-go paradigm // Psychophysiology. 2021. V. 58. N 8. P. e13838. https://doi.org/10.1111/psyp.13838
12. Aleksic P.S., Katsaggelos A.K. Automatic facial expression recognition using facial animation parameters and multistream HMMs // IEEE Transactions on Information Forensics and Security. 2006. V. 1. N 1. P. 3–11. https://doi.org/10.1109/TIFS.2005.863510
13. Gardner M.W., Dorling S.R. Artificial neural networks (the multilayer perceptron) — a review of applications in the atmospheric sciences // Atmospheric Environment. 1998. V. 32. N 14-15. P. 2627–2636. https://doi.org/10.1016/S1352-2310(97)00447-0
14. Cao H., Cooper D.G., Keutmann M.K., Gur R.C., Nenkova A., Verma R. CREMA-D: Crowd-sourced emotional multimodal actors dataset // IEEE Transactions on Affective Computing. 2014. V. 5. N 4. P. 377–390. https://doi.org/10.1109/TAFFC.2014.2336244
15. Challenges in Representation Learning Facial Expression Recognition Challenge [Электронный ресурс]. URL: https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge (дата обращения: 13.11.2021).
Рецензия
Для цитирования:
Сома Г.М., Каднова А.М. Распознавание эмоционального состояния человека на основе сверточной нейронной сети. Научно-технический вестник информационных технологий, механики и оптики. 2022;22(1):120-126. https://doi.org/10.17586/2226-1494-2022-22-1-120-126
For citation:
Soma G.M., Kadnova A.M. Recognition of the emotional state based on a convolutional neural network. Scientific and Technical Journal of Information Technologies, Mechanics and Optics. 2022;22(1):120-126. (In Russ.) https://doi.org/10.17586/2226-1494-2022-22-1-120-126
Просмотров:
21
Послать статью по эл. почте 