Система распознавания карельской речи с переключением кода карельский-русский

Введение. Представлена система автоматического распознавания устной речи для ливвиковского наречия карельского языка в условиях переключения кодов между карельским и русским языками. Выполнено исследование методов автоматического распознавания билингвальной речи. С целью повышения точности распознавания разработана методика аугментации текстовых данных, включающая в себя частичный перевод и синтез словоформ с внутрисловным переключением кода. Метод. Применено акустическое моделирование путем дообучения предобученной многоязычной модели Wav2Vec2-BERT 2.0 на материале двух предварительно собранных баз данных общим объемом 7,5 ч. Дообучение осуществлялось с использованием фреймворка Transformers. При построении языковой модели для решения проблемы нехватки текстовых данных с переключением кода был применен метод аугментации, основанный на частичном автоматическом переводе карельских текстов на русский язык с последующей генерацией словоформ с внутрисловным переключением кода по лингвистическим правилам. На основе разработанных правил сгенерирован список слов с внутрисловным переключением кода для использования при создании модели языка. В ходе экспериментов сравнивались различные конфигурации языковой модели, различающиеся количеством итераций текстовой аугментации (от 1 до 5), содержанием словаря (базовый и включающий все сгенерированные формы), а также интерполяцией с русской языковой моделью. Основные результаты. Проведенные эксперименты показали, что использование полного словаря, включающего сгенерированные гибридные словоформы, дает устойчивое улучшение результатов. Дополнительное снижение количества неправильно распознанных слов до 25,82 % на отладочной и 29 % на тестовой частях базы данных было достигнуто при линейной интерполяции карельской языковой модели с русской (коэффициент интерполяции 0,7). Обсуждение. Выполненные эксперименты подтверждают эффективность разработанной методики создания системы распознавания билингвальной речи. В частности, рекомендуется комбинировать дообучение многоязычных акустических моделей, текстовую аугментацию с морфологическими правилами и интерполяцию языковых моделей. Предложенный подход может быть применен для создания систем распознавания речи для других малоресурсных языков России в условиях несбалансированного двуязычия.

1. Mabokela K.R., Manamela M.J., Manaileng M. Modeling codeswitching speech on under-resourced languages for language identification // Proc. of the 4th Workshop on Spoken Language Technologies for Under Resourced Languages (SLTU). 2014. P. 225-230.

2. Bhuvanagirir K., Kopparapu S.K. Mixed language speech recognition without explicit identification of language // American Journal of Signal Processing. 2012. V. 2. N 5. P. 92–97. doi: 10.5923/j.ajsp.20120205.02

3. Agro M.T., Kulkarni A.A., Kadaoui K., Talat Z., Aldarmaki H. Codeswitching in End-to-End automatic speech recognition: A systematic literature review // arXiv. 2025. arXiv:2507.07741. doi: 10.48550/arXiv.2507.07741

4. Hsieh I.-T., Wu C.-H., Wang C.-H. Acoustic and textual data augmentation for code-switching speech recognition in underresourced language // Proc. of the Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC). 2020. P. 302–307.

5. Hamed I., Habash N., Abdennadher S., Vu N.T. Investigating lexical replacements for Arabic-English code-switched data augmentation // Proc. of the 6th Workshop on Technologies for Machine Translation of Low-Resource Languages (LoResMT). 2023. P. 86–100. doi: 10.18653/v1/2023.loresmt-1.7

6. Hussein A., Chowdhury S.A., Abdelali A., Dehak N., Ali A., Khudanpur S. Textual data augmentation for Arabic-English codeswitching speech recognition // Proc. of the IEEE Spoken Language Technology Workshop (SLT). 2023. P. 777–784. doi: 10.1109/SLT54892.2023.10023313

7. Pratapa A., Bhat G., Choudhury M., Sitaram S., Dandapat S., Bali K. Language modeling for code-mixing: The role of linguistic theory based synthetic data // Proc. of the 56th Annual Meeting of the Association for Computational Linguistics. 2018. V. 1. P. 1543–1553. doi: 10.18653/v1/P18-1143

8. Chuang S.-P., Sung T.-W., Lee H.-Y. Training code-switching language model with monolingual data // Proc. of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). 2020. P. 7949–7953. doi: 10.1109/ICASSP40776.2020.9053775

9. Yilmaz E., van Den Heuvel H., van Leeuwen D.A. Acoustic and textual data augmentation for improved ASR of code-switching speech // Proc. of the 19th Annual Conference of the International Speech Communication Association Interspeech. 2018. P. 1933–1937. doi: 10.21437/Interspeech.2018-52

10. Chang C.-T., Chuang S.-P., Lee H.-Y. Code-switching sentence generation by generative adversarial networks and its application to data augmentation // Proc. of the 20th Annual Conference of the International Speech Communication Association Interspeech. 2019. P. 554–558. doi: 10.21437/Interspeech.2019-3214

11. Şahin G.G. To augment or not to augment? A comparative study on text augmentation techniques for low-resource NLP // Computational Linguistics. 2022. V. 48. N 1. P. 5–42. doi: 10.1162/coli_a_00425

12. Wan Z., Wan X., Peng W., Li R. New datasets and controllable iterative data augmentation method for code-switching ASR error correction // Findings of the Association for Computational Linguistics: EMNLP. 2023. P. 8075–8087. doi: 10.18653/v1/2023.findings-emnlp.543

13. Kobayashi S. Contextual augmentation: Data augmentation by words with paradigmatic relations // Proc. of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2018. V. 2. P. 452–457. doi: 10.18653/v1/N18-2072

14. Hamed I., Denisov P., Li C.-Y., Elmahdy M., Abdennadher S, Vu N.T. Investigations on speech recognition systems for low-resource dialectal Arabic–English code-switching speech // Computer Speech & Language. 2022. V. 72. P. 101278. doi: 10.1016/j.csl.2021.101278

15. Ubskii D., Matveev Y., Minker W. Impact of using a bilingual model on Kazakh-Russian code-switching speech recognition // CEUR Workshop Proceedings. 2020. V. 2590. P. 1–6.

16. Карпов А.А., Кипяткова И.С. Методология оценивания работы систем автоматического распознавания речи // Известия высших учебных заведений. Приборостроение. 2012. T. 55. № 11. С. 38-43.

17. Arkhangelskiy T. Low-resource ASR with an augmented language model // Proc. of the 7th International Workshop on Computational Linguistics of Uralic Languages. 2021. P. 40–46.

18. Wolf T., Debut L., Sanh V., Chaumond J., Delangue C., Moi A., et al. Transformers: State-of-the-art natural language processing // Proc. of the Conference on Empirical Methods in Natural Language Processing: System Demonstrations. 2020. P. 38–45. doi: 10.18653/v1/2020.emnlp-demos.6

19. Кипяткова И.С., Кагиров И.А., Долгушин М.Д. Применение предварительно обученных многоязычных моделей для распознавания карельской речи // Информатика и автоматизация. 2025. Т. 24. № 2. С. 604–630. doi: 10.15622/ia.24.2.9

20. Кагиров И.А., Киселева К.О., Кипяткова И.С. Анализ переключения кодов в речи носителей карельского языка // Terra Linguistica. 2025. Т. 16. № 2. С. 22–40. doi: 10.18721/JHSS.16202

21. Kipyatkova I., Kiseleva K., Dolgushin M., Kagirov I. Modeling intraword code-switching for Karelian ASR // Lecture Notes in Computer Science. 2025. V. 16188. P. 104–117. doi: 10.1007/978-3-032-07959-6_8

22. Kipyatkova I. Experimenting with hybrid TDNN/HMM acoustic models for Russian speech recognition // Lecture Notes in Computer Science. 2017. V. 10458. P. 362–369. doi: 10.1007/978-3-319-66429-3_35

23. Кипяткова И.С., Родионова А.П., Кагиров И.А., Крижановский А.А. Подготовка речевых и текстовых данных для создания системы автоматического распознавания карельской речи // Ученые записки Петрозаводского государственного университета. 2023. Т. 45. № 5. С. 89–98. doi: 10.15393/uchz.art.2023.924

24. Kipyatkova I., Karpov A. Lexicon size and language model order optimization for Russian LVCSR // Lecture Notes in Computer Science. 2013. V. 8113. P. 219–226. doi: 10.1007/978-3-319-01931-4_29

25. Boyko T., Zaitseva N., Krizhanovskaya N., Krizhanovsky A., Novak I., Pellinen N., et al. The open corpus of the Veps and Karelian languages: Overview and applications // KnE Social Sciences. 2022. P. 29–40. doi: 10.18502/kss.v7i3.10419

26. Stolcke A., Zheng J., Wang W., Abrash V. SRILM at sixteen: update and outlook // Proc. of the IEEE Automatic Speech Recognition and Understanding Workshop. 2011. P. 5–9.