Глубокое обучение в задачах идентификации пола и гендера автора естественно-языкового текста

Введение. Развитие способов взаимодействия в цифровой среде приводит к необходимости контроля распространяемой пользователями информации на соответствие ее требованиям законодательства. В работе предлагается методика классификации русскоязычных текстов с учетом биологического пола (мужчины и женщины) и гендерных различий, включая гомо- и гетеросексуальные группы, а также отдельные категории ЛГБТ (геи, лесбиянки, бисексуальные и трансгендерные авторы). 
Метод. Предлагаемый подход основан на ансамбле методов, включающих Support Vector Machine (SVM), Convolutional Neural Networks (CNN) и Russian Bidirectional Encoder Representations from Transformers (RuBERT). Представленная методика позволяет определять не только пол, но и гендер автора русскоязычного текста, в то время как известные исследования рассматривают только автоматическое определение пола автора. Для проведения исследования собраны пользовательские наборы комментариев пользователей в социальных сетях, аннотированные по полу и гендеру. 
Основные результаты. В задачах определения пола автора предложенный метод показал точность, превышающую 90 %. Рассматривалась классификация как гетеросексуальных мужчин и женщин, так и смешанных групп, включавших гетеро- и гомосексуальных людей. При различении сексуальной ориентации среди представителей одного пола точность составила 93 % для женщин (различение лесбиянок и гетеросексуальных женщин) и 85 % для мужчин (классификация геев и гетеросексуальных мужчин). При исследовании по определению одновременно принадлежности к ЛГБТ и гендерной идентичности достигнутая точность составила 93 %.
Обсуждение. Показано, что сочетание CNN, RuBERT и SVM может быть применено в качестве основы методики идентификации пола и гендера авторов текста. Предложенный подход может использоваться для автоматизированного мониторинга социальных сетей с целью выявления и анализа гендерной принадлежности автора текста. Разработанная методика перспективна для применения в системах контент-модерации, социологических и лингвистических исследований.

1. Buyantueva R. Cultural and geopolitical conflicts between the West and Russia: western NGOs and LGBT activism // Connexe: les espaces postcommunistes en question (s). 2022. V. 8. P. 148–167. https://doi.org/10.5077/journals/connexe.2022.e1031

2. Stoltz P., Khlusova A. Sexual citizenship, nationalisms, and bordering: russian LGBT activists and the “Foreign agent law” // The Palgrave Handbook of Gender and Citizenship. 2024. P. 425–447. https://doi.org/10.1007/978-3-031-57144-2_19

3. Симонова М.А. Проблема пропаганды ЛГБТ: опыт России и США (теоретико-правовой анализ) // Аграрное и земельное право. 2023. № 3 (219).С. 162–166. https://doi.org/10.47643/1815-1329_2023_3_162

4. Литвинова Т.А. Тематическое моделирование корпуса блогов на русском языке с учетом гендера автора: текст и контекст // Этнопсихолингвистика. 2022. № 2 (9). С. 7–23. https://doi.org/10.31249/epl/2022.02.01

5. Хазова А.Б. Автоматическое определение половой принадлежности автора текста: феномен русской женской прозы // Вестник Новосибирского государственного университета. Серия: Лингвистика и межкультурная коммуникация. 2020. Т. 18. № 1. С. 22–32. https://doi.org/10.25205/1818-7935-2020-18-1-22-32

6. Степаненко А.А., Резанова З.И. Местоимения в автоматической жанровой и гендерной атрибуции текстов // Вестник Томского государственного университета. Филология. 2022. № 79. С. 131–154. https://doi.org/10.17223/19986645/79/7

7. Osochkin A., Piotrowska X., Fomin V. Automatic identification of authors’ stylistics and gender on the basis of the corpus of russian fiction using extended set-theoretic model with collocation extraction // Glottometrics. 2021. V. 50. P. 76–89. https://doi.org/10.53482/2021_50_389

8. Кривов Д.А., Бондаренко В.В. Профилирование автора электронного сообщения // Вестник молодых учёных и специалистов Самарского университета. 2023. № 2 (23). С. 46–52.

9. Sboev A., Gudovskikh D., Moloshnikov I., Rybka R. A gender identification of text author in mixture of Russian multi-genre texts with distortions on base of data-driven approach using machine learning models // AIP Conference Proceedings. 2019. V. 2116. N 1. P. 270006. https://doi.org/10.1063/1.5114280

10. Markov I., Gómez-Adorno H., Sidorov G., Gelbukh A. The winning approach to cross-genre gender identification in Russian at rusprofiling 2017 // Ceur Workshop Proceedings. 2017. V. 2036. P. 20–24.

11. Bhargava R., Goel G., Shah A., Sharma Y. Gender Identification in Russian Texts// CeurWorkshop Proceedings. 2017. V. 2036. P. 13–16.

12. Sboev A., Moloshnikov I., Gudovskikh D., Selivanov A., Rybka R., Litvinova T. Automatic gender identification of author of Russian text by machine learning and neural net algorithms in case of gender deception // Procedia Computer Science. 2018. V. 123. P. 417–423. https://doi.org/10.1016/j.procs.2018.01.064

13. Panicheva P., Mirzagitova A., Ledovaya Y. Semantic feature aggregation for gender identification in Russian Facebook // Communications in Computer and Information Science. 2018. V. 789. P. 3–15. https://doi.org/10.1007/978-3-319-71746-3_1

14. Галкина Д.А. Автоматическое определение профиля автора текста на естественном языке // Путь в науку: прикладная математика, информатика и информационные технологии. 2021. С. 26–28.

15. Argamon S., Koppel M., Fine J., Shimoni A. Gender, genre, and writing style in formal written texts // Text. 2003. V. 23. N 3. P. 321–346. https://doi.org/10.1515/text.2003.014

16. Alowibdi J.S. Gender prediction of generated tweets using generative AI // Information. 2024. V. 15. N 8. P. 452. https://doi.org/10.3390/info15080452

17. Younkin V., Litvak M., Rabaev I. Automatic gender identification from text // Applied Sciences. 2024. V. 14. N 24. P. 12041. https://doi.org/10.3390/app142412041

18. Karami A., Lundy M., Webb F., Boyajieff H.R., Zhu M., Lee D. Automatic categorization of LGBT user profiles on twitter with machine learning // Electronics. 2021. V. 10. N 15. P. 1822. https://doi.org/10.3390/electronics10151822

19. Manikandan D., Subramanian M., Shanmugavadivel K. A system for detecting abusive contents against LGBT community using deep learning based transformer models // Ceur Workshop Proceedings. 2022. V. 3395. P. 106–116.

20. Doughman J., Khreich W. Gender bias in text: Labeled datasets and lexicons // arXiv. 2022. arXiv:2201.08675. https://doi.org/10.48550/arXiv.2201.08675

21. Abdelmaguid A., Torki M., Khalafallah A. AraEGI: Arabic gender identification using transformers for Egyptian dialect // Proc. of the IEEE Symposium on Computers and Communications (ISCC). 2024. P. 1–7. https://doi.org/10.1109/ISCC61673.2024.10733708

22. Raza S., Garg M., Reji D.J., Bashir S.R., Ding C. NBIAS: A natural language processing framework for BIAS identification in text // Expert Systems with Applications. 2024. V. 237. Part B. P. 121542. https://doi.org/10.1016/j.eswa.2023.121542

23. ParkC.Y.,Yan X., FieldA.,TsvetkovY.Multilingual contextual affective analysis of LGBT people portrayals in Wikipedia // Proc. of the 15th InternationalAAAI Conference onWeb and Social Media. 2021. V. 15. N 1. P. 479–490. https://doi.org/10.1609/icwsm.v15i1.18077

24. Babakov N., Logacheva V., Panchenko A. Beyond plain toxic: detection of inappropriate statements on flammable topics for the Russian language // arXiv. 2022. arXiv:2203.02392. https://doi.org/10.48550/arXiv.2203.02392

25. Brown T., Mann B., Ryder N., Subbiah M., Kaplan J. D., Dhariwal P., et al. Language models are few-shot learners // Advances in Neural Information Processing Systems. 2020. V. 33.

26. Liang P., Bommasani R., Lee T., Tsipras D., Soylu D., Yasunaga M., et. al. Holistic evaluation of language models // arXiv. 2022. arXiv:2211.09110. https://doi.org/10.48550/arXiv.2211.09110

27. Fedotova A., Kurtukova A., Romanov A., Shelupanov A. Semantic clustering and transfer learning in social media texts authorship attribution // IEEE Access. 2024. V. 12. P. 39783–39803. https://doi.org/10.1109/ACCESS.2024.3377231

28. Wahyuningsih S. Men and women differences in using language: A case study of students at STAIN Kudus // EduLite: Journal of English Education, Literature and Culture. 2018. V. 3. N 1. P. 79–90. https://doi.org/10.30659/e.3.1.79-90

29. Katz S.M. Estimation of probabilities from sparse data for the language model component of a speech recognizer // IEEE Transactions on Acoustics, Speech, and Signal Processing. 1987. V. 35. N 3. P. 400–401. https://doi.org/10.1109/tassp.1987.1165125

30. Khatua A., Cambria E., Ghosh K., Chaki N., Khatua A. Tweeting in support of LGBT? A deep learning approach // Proc. of the ACM India Joint International Conference on Data Science and Management o f Data. 2019. P. 342–345. https://doi.org/10.1145/3297001.3297057

31. Duan M., Li K., Yang C., Li K. A hybrid deep learning CNN–ELM for age and gender classification // Neurocomputing. 2018. V. 275. P. 448–461. https://doi.org/10.1016/j.neucom.2017.08.062

32. Lavanya S.K., Navaneethakrishnan S.C. Building tamil text dataset on LGBTQIA and offensive language detection using multilingual BERT // Proc. of the International Conference on Inventive Computation Technologies (ICICT). 2022. P. 489–496. https://doi.org/10.1109/icict54344.2022.9850904

33. Bhardwaj R., Majumder N., Poria S. Investigating gender bias in BERT // Cognitive Computation. 2021. V. 13. N 4. P. 1008–1018. https://doi.org/10.1007/s12559-021-09881-2