Система маршрутизации клиентов на основе их эмоционального состоянияи возраста в системах обслуживания населения

Введение. Разработана система маршрутизации клиентов на основе их эмоционального состояния и возраста в системах обслуживания населения. Для разработки моделей предложен метод Squeeze-and-Excitation (SE), который отличается от существующих методов тем, что позволяет улучшить эффективность глубокой сверточной нейронной сети архитектуры, повышая информационный поток между слоями и усиливая важные признаки. SE метод основан на сжатии и возбуждении информации на каждом этапе свертки, что позволяет получить вектор оценок важности по каналам и использовать его для перевзвешивания каналов карты признаков. В работе показано, что SE метод позволил улучшить качество классификации и сократить время обучения модели. Метод. Для проведения маршрутизации клиентов в зависимости от их эмоционального состояния и возраста разработана математическая модель эмоциональной целевой маршрутизации на основе интерполяционного многочлена Ньютона. Интерполяционная функция в предложенной модели выполняет расчет времени ожидания клиентов в соответствии с их эмоциональным состоянием. Разработаны три модели бинарной классификации эмоций и возрастов: две модели для распознавания эмоционального состояния клиента и одна — для распознавания возраста. В первой и третьей моделях представлена глубокая сверточная нейронная сеть с использованием нового подхода SE на основе механизма внимания. Во второй модели применен метод опорных векторов. Основные результаты. Для тестирования модели после ее обучения применен метод evaluate, позволяющий оценить качество модели на новых данных, которые не были использованы при ее обучении. Это осуществлено для проверки, насколько точно модель может предсказывать значения целевой переменной на новых данных. Метод evaluate использует метрики оценки качества модели, такие как точность (accuracy), полнота (recall), F1-мера (F1-score). Выполнено сравнение эффективности методов на наборах данных FER-2013 и Adience, а также результатах, полученных в настоящей работе, с результатами, описанными в научных работах, опубликованных в базе данных Scopus. Согласно полученным экспериментальным данным, первая и вторая разработанные модели достигли точности валидации 72 % и 66 % соответственно, а их размеры составили 0,69 МБ и 369 МБ. В то же время модель распознавания возраста достигла точности 88 % при размере 1,68 МБ. Математическая модель эмоциональной целевой маршрутизации разработана для минимизирования конфликтов в системах обслуживания населения. Разработанная система может автоматически направлять клиентов по маршрутам в зависимости от их эмоционального состояния (наличия злости) и возраста к соответствующему оператору. Таким образом, клиенты старше 60 лет или с уровнем злости 60–80 % направляются к старшему оператору, который имеет опыт общения, с пожилыми клиентами или клиентами в возбужденном эмоциональном состоянии, а клиенты с уровнем злости 80–100 % направляются к психологу. Обсуждение. Результаты исследования могут быть применены в системах обслуживания населения для распознавания возраста и признаков злости клиентов. Разработанная система может быть применена, в различных областях, где есть контакт с большим количеством людей (например, банки, супермаркеты, системы контроля доступа в аэропортах, полицейские участки, метро и колл-центры).

1. Adigwe P., Okoro E. Human communication and effective interpersonal relationships: an analysis of client counseling and emotional stability // International Journal of Economics & Management Sciences. 2016. V. 5. N 3. https://doi.org/10.4172/2162-6359.1000336

2. Giangreco A., Carugati A., Sebastiano A., Al Tamimi H. War outside, ceasefire inside: An analysis of the performance appraisal system of a public hospital in a zone of conflict // Evaluation and Program Planning. 2012. V. 35. N 1. P. 161–170. https://doi.org/10.1016/j.evalprogplan.2010.11.004

3. Knutson B. Facial expressions of emotion influence interpersonal trait inferences // Journal of Nonverbal Behavior. 1996. V. 20. N 3. P. 165– 182. https://doi.org/10.1007/bf02281954

4. Compas B.E. Psychobiological processes of stress and coping: implications for resilience in children and adolescents—comments on the papers of Romeo & McEwen and Fisher et al. // Annals of the New York Academy of Sciences. 2006. V. 1094. N 1. P. 226–234. https://doi.org/10.1196/annals.1376.024

5. Zapf D. Emotion work and psychological well-being: A review of the literature and some conceptual considerations // Human Resource Management Review. 2002. V. 12. N 2. P. 237–268. https://doi.org/10.1016/s1053-4822(02)00048-7

6. Dong Y., Liu Y., Lian S. Automatic age estimation based on deep learning algorithm // Neurocomputing. 2016. V. 187. P. 4–10. https://doi.org/10.1016/j.neucom.2015.09.115

7. Giannakakis G., Koujan M.R., Roussos A., Marias K. Automatic stress analysis from facial videos based on deep facial action units recognition // Pattern Analysis and Applications. 2022. V. 25. N 3. P. 521–535. https://doi.org/10.1007/s10044-021-01012-9

8. Gwyn T., Roy K., Atay M. Face recognition using popular deep net architectures: A brief comparative study // Future Internet. 2021. V. 13. N 7. P. 164. https://doi.org/10.3390/fi13070164

9. Kumar S., Singh S., Kumar J., Prasad K.M.V.V. Age and gender classification using Seg-Net based architecture and machine learning // Multimedia Tools and Applications. 2022. V. 81. N 29. P. 42285– 42308. https://doi.org/10.1007/s11042-021-11499-3

10. Leist A., Playne D.P., Hawick K.A. Exploiting graphical processing units for data-parallel scientific applications // Concurrency and Computation: Practice and Experience. 2009. V. 21. N 18. P. 2400– 2437. https://doi.org/10.1002/cpe.1462

11. Madhavi M., Gujar I., Jadhao V., Gulwani R. Facial emotion classifier using convolutional neural networks for reaction review // ITM Web of Conferences. 2022. V. 44. P. 03055. https://doi.org/10.1051/itmconf/20224403055

12. Вдовина М.В. Регулирование конфликта между социальным работником и получателем социальных услуг // Wschodnioeuropejskie Czasopismo Naukowe (East European Scientific Journal). 2015. Т. 3. № 3. С. 124–131.

13. Mouatasim A.E. Fast gradient descent algorithm for image classification with neural networks // Signal, Image and Video Processing. 2020. V. 14. N 8. P. 1565–1572. https://doi.org/10.1007/s11760-020-01696-2

14. Nguyen H.-D., Kim S.-H., Lee G.-S., Yang H.-J., Na I.-S., Kim S.-H. Facial expression recognition using a temporal ensemble of multi- level convolutional neural networks // IEEE Transactions on Affective Computing. 2022. V. 13. N 1. P. 226–237, https://doi.org/10.1109/TAFFC.2019.2946540

15. Никишина И.Ю. Выражение концепта anger («гнев») в современ- ной английской и американской художественной литературе: автореферат диссертации на соискание ученой степени кандидата филологических наук / МГУ им. М.В.Ломоносова. М., 2008. 23 с.

16. Olaide O.B., Ojo A.K. A model for conflicts’ prediction using deep neural network // International Journal of Computer Applications. 2021. V. 183. N 29. P. 8–13. https://doi.org/10.5120/ijca2021921667

17. Paper D. Classification from complex training sets // Hands-on Scikit- Learn for Machine Learning Applications. Apress, Berkeley, CA, 2020. P. 71–104. https://doi.org/10.1007/978-1-4842-5373-1_3

18. Piatak J., Romzek B., LeRoux K., Johnston J. Managing goal conflict in public service delivery networks: Does accountability move up and down, or side to side? // Public Performance & Management Review. 2018. V. 41. N 1. P. 152–176. https://doi.org/10.1080/15309576.2017.1400993

19. Pollak S.D., Camras L.A., Cole P.M. Progress in understanding the emergence of human emotion // Developmental Psychology. 2019. V. 55. N 9. P. 1801–1811. https://doi.org/10.1037/dev0000789

20. Reichel L. Newton interpolation at Leja points // BIT. 1990. V. 30. N 2. 332–346. https://doi.org/10.1007/BF02017352

21. Rodriques M.V. Perspectives of Communication and Communicative Competence. Concept Publishing Company, 2000. 390 p.

22. Рюмина Е.В., Карпов А.А. Аналитический обзор методов распоз- навания эмоций по выражениям лица человека // Научно- технический вестник информационных технологий, механики и оптики. 2020. V. 20. N 2. P. 163–176. https://doi.org/10.17586/2226-1494-2020-20-2-163-176

23. El-Glaly Y.N., Quek F. Digital reading support for the blind by multimodal interaction // ICMI ‘14: Proc. of the 16th International Conference on Multimodal Interaction. 2014. P. 439–446. https://doi.org/10.1145/2663204.2663266

24. Hameduddin T., Engbers T. Leadership and public service motivation: a systematic synthesis // International Public Management Journal. 2022. V. 25. N 1. P. 86–119. https://doi.org/10.1080/10967494.2021.1884150

25. Thrassou A., Santoro G., Leonidou E., Vrontis D., Christofi M. Emotional intelligence and perceived negative emotions in intercultural service encounters: Building and utilizing knowledge in the banking sector // European Business Review. 2020. V. 32. N 3. P. 359–381. https://doi.org/10.1108/ebr-04-2019-0059

26. Varma S., Shinde M., Chavan S.S. Analysis of PCA and LDA features for facial expression recognition using SVM and HMM classifiers // Techno-Societal 2018: Proc. of the 2nd International Conference on Advanced Technologies for Societal Applications. V. 1. 2020. P. 109– 119. https://doi.org/10.1007/978-3-030-16848-3_11

27. Petri V., Jari K. Public service systems and emerging systemic governance challenges // International Journal of Public Leadership. 2015. V. 11. N 2. P. 77–91. https://doi.org/10.1108/IJPL-02-2015-0007

28. Wu Z., Shen C., van den Hengel A. Wider or deeper: Revisiting the ResNet model for visual recognition // Pattern Recognition. 2019. V. 90. P. 119–133. https://doi.org/10.1016/j.patcog.2019.01.006

29. Tian Y. Evaluation of face resolution for expression analysis // Proc. of the 2004 Conference on Computer Vision and Pattern Recognition Workshop. 2004. P. 82. https://doi.org/10.1109/CVPR.2004.334

30. Zaghbani S., Bouhlel M.S. Multi-task CNN for multi-cue affects recognition using upper-body gestures and facial expressions // International Journal of Information Technology. 2022. V. 14. N 1. P. 531–538. https://doi.org/10.1007/s41870-021-00820-w