Модерация NLP в реальном времени в XMPP с GPU-ускоренным инференсом и адаптивным батчингом

Введение. Современные системы мгновенного обмена сообщениями обрабатывают большие объемы коротких текстов, для которых критично время доставки. В таких условиях становится актуальной автоматическая модерация токсичного контента. Примитивные методы, основанные на ключевых словах и ручной проверке, плохо справляются со значительной нагрузкой, многоязычными сообщениями и сложностью контекста. Модели обработки естественного языка, основанные на трансформерах, позволяют более точно определять токсичность, однако их использование в децентрализованных системах обмена сообщениями, таких как протокол расширяемого обмена сообщениями и присутствия (Extensible Messaging and Presence Protocol, XMPP), затруднено высокой вычислительной стоимостью и асинхронным характером запросов. Метод. Предложена система модерации сообщений в XMPP-сетях, состоящая из плагина сервера OpenFire, внешнего сервиса инференса, поддерживающего выполнение на центральном процессоре (Central Processing Unit, CPU) и графическом процессоре (Graphics Processing Unit, GPU), и метода адаптивного батчинга (Adaptive CrossDomain Batching, ACDB). Плагин осуществляет перехват сообщений на уровне обработки пакетов и передает их во внешний сервис инференса для определения токсичности. Предложенный метод адаптивного батчинга динамически подстраивает размер батча в зависимости от текущей нагрузки, состояния очереди и фактического времени выполнения инференса на GPU. Основные результаты. Эксперименты проводились на CPU и GPU конфигурациях с текстами сообщений различной длины, соответствующими типичным чат-сообщениям. Полученные результаты показывают, что использование GPU позволяет значительно ускорить инференс — до 28 раз (по сравнению с CPU) и снизить общую задержку до 9 раз. Сравнительная оценка по отношению к базовым решениям со статическим батчингом в различных сценариях трафика показывает, что ACDB динамически адаптирует размеры батчей в диапазоне от 3 до 25 в зависимости от условий нагрузки, снижая задержку на 52–59 % по сравнению со статическими конфигурациями с крупными батчами при сохранении 85–94 % их пропускной способности. Обсуждение. Представленный подход ориентирован на реальные условия работы федеративных XMPP-сетей, в которых сообщения поступают асинхронно и неравномерно. В отличие от решений, рассчитанных на централизованные системы с предсказуемым трафиком, данная архитектура обеспечивает устойчивую и масштабируемую модерацию сообщений в реальном времени без увеличения задержек доставки.

1. Park Y., Budhathoki K., Chen L., Kübler J.M., Huang J., Kleindessner M., et al. Inference optimization of foundation models on AI accelerators // Proc. of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD ’24). 2024. P. 6605-6615. doi: 10.1145/3637528.3671465

2. Aminabadi R.Y., Rajbhandari S., Awan A.A., Li C., Li D., Zheng E., et al. DeepSpeed-inference: Enabling efficient inference of transformer models at unprecedented scale // Proc. of the SC22: International Conference for High Performance Computing, Networking, Storage and Analysis. 2022. P. 1–15. doi: 10.1109/SC41404.2022.00051

3. Khan Z. Natural language processing techniques for automated content moderation // International Journal of Web of Multidisciplinary Studies. 2025. V. 2. N 2. P. 21–27.

4. Liaskovska S., Bacarra R., Martyn Y., Baidych V., Alsayaydeh J. Artificial intelligence for automatic moderation of textual content in online chats and social networks // International Journal of Electrical and Computer Engineering (IJECE). 2025. V. 15. N 3. P. 3396–3409. doi: 10.11591/ijece.v15i3.pp3396-3409

5. Fillies J., Mitsikas T., Schäfermeier R., Paschke A. A hate speech moderated chat application: Use case for GDPR and DSA compliance // arXiv. 2024. arXiv:2410.07713. doi: 10.48550/arXiv.2410.07713

6. Mengade S., Chopade P., Tate P., Patil S. Facilitating anonymous communication on social networks via AI-driven content moderation // Journal of the ACS Advances in Computer Science. 2025. V. 16. N 1. P. 19–32. doi: 10.21608/asc.2025.351475.1033

7. Wagner N., Kraus M., Tonn T., Minker W. Comparing moderation strategies in group chats with multi-user chatbots // Proc. of the 4th Conference on Conversational User Interfaces. 2022. P. 1–4. doi: 10.1145/3543829.3544527

8. Zhang D., Luo Y., Wang Y., Kui X., Ren J. BatOpt: Optimizing GPUbased deep learning inference using dynamic batch processing // IEEE Transactions on Cloud Computing. 2024. V. 12. N 1. P. 174–185. doi: 10.1109/TCC.2024.3350561

9. Cang Y., Chen M., Huang K. Joint batching and scheduling for highthroughput multiuser edge AI with asynchronous task arrivals // IEEE Transactions on Wireless Communications. 2024. V. 23. N 10. P. 13782–13795. doi: 10.1109/TWC.2024.3404811

10. Fang J., Yu Y., Zhao C., Zhou J. TurboTransformers: An efficient GPU serving system for transformer models // Proc. of the 26th ACM SIGPLAN Symposium on Principles and Practice of Parallel Programming (PPoPP ’21). 2021. P. 389–402. doi: 10.1145/3437801.3441578

11. Kasoju A., Vishwakarma T.V.C. Optimizing transformer models for low-latency inference: Techniques, architectures, and code implementations // International Journal of Science and Research (IJSR). 2025. V. 14. N 4. P. 857–866. doi: 10.21275/sr25409073105

12. Cong P., Chen Q., Zhao H., Yang T. Baton: Enhancing batch-wise inference efficiency for large language models via dynamic rebatching // Proc. of the ACM on Web Conference. 2025. P. 2309-2318. doi: 10.1145/3696410.3714950

13. Lam M., Yedidia Z., Banbury C.R., Reddi V.J. Precision batching: Bitserial decomposition for efficient neural network inference on GPUs // Proc. of the 30th International Conference on Parallel Architectures and Compilation Techniques (PACT). 2021. P. 129–141. doi: 10.1109/PACT52795.2021.00017

14. Speckhard D.T., Bechtel T., Kehl S., Godwin J., Draxl C. Training speedups via batching for geometric learning: An analysis of static and dynamic algorithms // arXiv. 2025. arXiv:2502.00944. doi: 10.48550/arXiv.2502.00944

15. Aldarf A., Shaker A., Bessmertny I., Sobeih M.Y. Accelerating hate speech classification with GPUs: A multi-layer approach with string matching and transformers // Lecture Notes in Networks and Systems. 2025. V. 5588. P. 535–548. doi: 10.1007/978-981-96-1918-4_38

16. Yang Z., Grenon-Godbout N., Rabbany R. Towards detecting contextual real-time toxicity for in-game chat // Findings of the Association for Computational Linguistics: EMNLP. 2023. P. 9894-9906. doi: 10.18653/v1/2023.findings-emnlp.663