Метод автоматического машинного перевода текстов с вербального языка в последовательность глосс

Введение. Рассмотрена задача машинного перевода с вербального языка на русский жестовый язык в виде промежуточного текстового представления — последовательности глосс. Разработан метод подготовки данных и автоматического перевода из вербального текста в последовательность глосс жестового языка. Метод. В предложенном методе формируется размеченный параллельный корпус «вербальный текст-последовательность глосс» на основе ручной разметки. Словарь глосс задается по примерам из корпуса жестового языка и используется в качестве ограничения допустимых выходных токенов. Для перевода сравниваются два класса моделей: трансформеры архитектуры «энкодер-декодер», адаптируемые к целевой задаче на параллельном корпусе; большие языковые модели архитектуры «только декодер», применяемые в режиме контекстного обучения по нескольким примерам с промптом, содержащим инструкцию, словарь глосс и ограничения на формат ответа. Качество перевода оценивается по метрике Bilingual Evaluation Understudy на тестовой выборке параллельного корпуса. Основные результаты. Экспериментальные результаты показали, что трансформерные модели обеспечивают более высокое качество машинного перевода по сравнению с большими языковыми моделями; наилучший результат среди трансформеров достигается моделью mT5-small (0,84). Среди больших языковых моделей максимальное значение 0,60 получено для GPT-5.2. Обсуждение. Предложенный метод может быть применен как часть системы по воспроизведению цифровой двусторонней коммуникации между носителями жестовых языков и вербальных. Метод позволяет переводить текст на вербальном языке в последовательность глосс, которые в дальнейшем могут быть синтезированы с помощью цифровых аватаров для понимания носителями жестовых языков информации, сказанной или написанной носителями вербальных языков. Исходные материалы, параллельный корпус и инструкции по воспроизведению экспериментов размещены в открытом репозитории, посвященному методу автоматического машинного перевода текстов c вербального языка в последовательность глосс.

1. Kapitanov A., Karina K., Nagaev A., Elizaveta P. Slovo: Russian sign language dataset // Lecture Notes in Computer Science. 2023. V. 14253. P. 63–73. doi: 10.1007/978-3-031-44137-0_6

2. Kagirov I., Ivanko D., Ryumin D., Axyonov A., Karpov A. TheRuSLan: Database of Russian sign language // Proc. of the 12th Language Resources and Evaluation Conference. 2020. P. 6079–6085.

3. Ryumin D., Ivanko D., Axyonov A., Kagirov I., Karpov A., Zelezny M. Human-robot interaction with smart shopping trolley using sign language: data collection // Proc. of the IEEE International Conference on Pervasive Computing and Communications Workshops (PerCom Workshops). 2019. P. 949–954. doi: 10.1109/percomw.2019.8730886

4. Кагиров И.А., Рюмин Д.А. База данных русского жестового языка поликлинического предназначения: лингвистические особенности материала и аннотирования // Вестник НГУ. Серия: Лингвистика и межкультурная коммуникация. 2022. Т. 20. № 3. С. 90–108. doi: 10.25205/1818-7935-2022-20-3-90-108

5. Li D., Opazo C.R., Yu X., Li H. Word-level deep sign language recognition from video: a new large-scale dataset and methods comparison // Proc. of the IEEE Winter Conference on Applications of Computer Vision (WACV). 2020. P. 1448–1458. doi: 10.1109/wacv45572.2020.9093512

6. Sincan O.M., Keles H.Y. AUTSL: A Large scale multi-modal Turkish sign language dataset and baseline methods // IEEE Access. 2020. V. 8. P. 181340–181355. doi: 10.1109/ACCESS.2020.3028072

7. Kapitanov A., Kvanchiani K., Nagaev A., Kraynov R., Makhliarchuk A. HaGRID-HAnd Gesture Recognition Image Dataset // Proc. of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). 2024. P. 4560–4569. doi: 10.1109/WACV57701.2024.00451

8. Zhu D., Czehmann V., Avramidis E. Neural machine translation methods for translating text to sign language glosses // Proc. of the 61st Annual Meeting of the Association for Computational Linguistics. 2023. P. 12523–12541. doi: 10.18653/v1/2023.acl-long.700

9. Rust P., Shi B., Wang S., Camgoz N.C., Maillard J. Towards privacyaware sign language translation at scale // Proc. of the 62nd Annual Meeting of the Association for Computational Linguistics. 2024. P. 8624–8641. doi: 10.18653/v1/2024.acl-long.467

10. Zhang B., Tanzer G., Firat O. Scaling sign language translation // Proc. of the 38th International Conference on Neural Information Processing Systems. 2024. P. 114018–114047.

11. Li Z., Zhou W., Zhao W., Wu K., Hu H., Li H. Uni-Sign: Toward unified sign language understanding at scale // Proc. of the 13th International Conference on Learning Representations (ICLR). 2025. P. 1–20.

12. Hamidullah Y., van Genabith J., España-Bonet C. Sign language translation with sentence embedding supervision // Proc. of the 62nd Annual Meeting of the Association for Computational Linguistics. 2024. P. 425–434. doi: 10.18653/v1/2024.acl-short.40

13. Hamidullah Y., Yazdani S., Oguz C., van Genabith J., España-Bonet C. SONAR-SLT: Multilingual sign language translation via languageagnostic sentence embedding supervision // Proc. of the 10th Conference on Machine Translation. 2025. P. 301–313. doi: 10.18653/v1/2025.wmt-1.18

14. Toshpulatov M., Lee W., Jun J., Lee S. Deep learning pathways for automatic sign language processing // Pattern Recognition. 2025. V. 164. P. 111475. doi: 10.1016/j.patcog.2025.111475

15. Gong J., Foo L.G., He Y., Rahmani H., Liu J. LLMs are good sign language translators // Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2024. P. 18362-18372. doi: 10.1109/CVPR52733.2024.01738

16. Hwang E.J., Cho S., Lee J., Park J.C. An efficient gloss-free sign language translation using spatial configurations and motion dynamics with LLMs // Proc. of the Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies. 2025. P. 3901–3920. doi: 10.18653/v1/2025.naacl-long.197

17. Guo J., Li P., Cohn T. Bridging sign and spoken languages: pseudo gloss generation for sign language translation // Proc. of the 39th Conference on Neural Information Processing Systems (NeurIPS). 2025. P. 1–29.

18. Baltatzis V., Potamias R.A., Ververas E., Sun G., Deng J., Zafeiriou S. Neural sign actors: a diffusion model for 3D sign language production from text // Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2024. P. 1985–1995. doi: 10.1109/CVPR52733.2024.00194

19. Tang S., Xue F., Wu J., Wang S., Hong R. Gloss-driven conditional diffusion models for sign language production // ACM Transactions on Multimedia Computing, Communications, and Applications. 2025. V. 21. N 4. P. 105. doi: 10.1145/3663572

20. Ivanko D., Ryumin D. Intelligent system for automatic bidirectional sign language translation based on recognition and synthesis of audiovisual and sign speech // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2025. V. XLVIII-2/W9-2025. P. 131–136. doi: 10.5194/isprs-archives-xlviii-2-w9-2025-131-2025

21. Chipman H.A., George E.I., McCulloch R.E., Shively T.S. mBART: Multidimensional Monotone BART// Bayesian Analysis. 2022. V. 17. N 2. P. 515–544. doi: 10.1214/21-BA1259

22. Tiedemann J., Aulamo M., Bakshandaeva D., Boggia M., Grönroos S.-A., Nieminen T., et al. Democratizing neural machine translation with OPUS-MT // Language Resources and Evaluation. 2024. V. 58. N 2. P. 713–755. doi: 10.1007/s10579-023-09704-w

23. Xue L., Constant N., Roberts A., Kale M., Al-Rfou R., Siddhant A., et al. mT5: A Massively multilingual pre-trained text-to-text transformer // Proc. of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL). 2021. P. 483–498. doi: 10.18653/v1/2021.naacl-main.41

24. Papineni K., Roukos S., Ward T., Zhu W.-J. BLEU: a method for automatic evaluation of machine translation // Proc. of the 40th Annual Meeting on Association for Computational Linguistics. 2002. P. 311-318. doi: 10.3115/1073083.1073135

25. Post M. A call for clarity in reporting BLEU scores // Proc. of the 3rd Conference on Machine Translation: Research Papers. 2018. P. 186-191. doi: 10.18653/v1/W18-6319