Сложности использования метрик для обработки естественного языка при оценке сгенерированного кода

Оценка больших языковых моделей (Large Language Models, LLM) для задач генерации кода представляет собой особую сложность, поскольку традиционные методы обработки естественного языка (Natural Language Processing, NLP) могут быть неприменимы для оценки кода. Классические метрики сходства текста могут не отражать функциональную корректность сгенерированного кода. В работе изучается эффективность различных метрик оценки путем сравнения кода, сгенерированного LLM, с мутированными версиями исходных фрагментов кода. Используя современные модели и бенчмарки, были оценены сгенерированные и мутированные фрагменты кода с применением нескольких широко используемых метрик NLP, включая ориентированные на программный код CodeBLEU и Ruby, а также нейросетевые BERTScore и CodeBERTScore. Показано, что ориентированные на оценку текста метрики (а именно BiLingual Evaluation Understudy и Recall-Oriented Understudy for Gisting Evaluation) имеют тенденцию к снижению релевантности при оценке задач программирования, особенно когда функциональная точность критически важна. Ориентированные на код и нейросетевые метрики демонстрируют более высокую корреляцию с показателями прохождения тестов, хотя их ограничения указывают на необходимость дальнейшего совершенствования. Полученные результаты подтверждают важность разработки методов оценки, учитывающих функциональность, для генерации кода на основе LLM. Предложены новые подходы к выбору метрик для оценки качества кода, сгенерированного искусственным интеллектом.

1. Chen L., Guo Q., Jia H., Zeng Z., Wang X., Xu Y., et al. A survey on evaluating large language models in code generation tasks. arXiv, 2025. arXiv:2408.16498v2. https://doi.org/10.48550/arXiv.2408.16498

2. Wang J., Chen Y. A review on code generation with LLMs: application and evaluation. Proc. of the IEEE International Conference on Medical Artificial Intelligence (MedAI), 2023, pp. 284–289. https://doi.org/10.1109/medai59581.2023.00044

3. Ren S., Guo D., Lu S., Zhou L., Liu S., Tang D., et al. CodeBLEU: a method for automatic evaluation of code synthesis. arXiv, 2020. arXiv:2009.10297v2. https://doi.org/10.48550/arXiv.2009.10297

4. Tran N, Tran H., Nguyen S., Nguyen H., Nguyen T.N. Does BLEU score work for code migration? Proc. of the IEEE/ACM 27th International Conference on Program Comprehension (ICPC), 2019, pp. 165–176. https://doi.org/10.1109/ICPC.2019.00034

5. Chen M., Tworek J., Jun H., Yuan Q., de Oliveira Pinto H.P., Kaplan J., et al. Evaluating large language models trained on code. arXiv, 2021. arXiv:2107.03374v2. https://doi.org/10.48550/arXiv.2107.03374

6. Zheng Q., Xia X., Zou X., Dong Y., Wang S., Xue Y., et al. CodeGeeX: a pre-trained model for code generation with multilingual benchmarking on HumanEval-X. arXiv, 2024. arXiv:2303.17568v2. https://doi.org/10.48550/arXiv.2303.17568

7. Yu H., Shen B., Ran D., Zhang J., Zhang Q., Ma Y., et al. CoderEval: a benchmark of pragmatic code generation with generative pre-trained models. Proc. of the IEEE/ACM 46th International Conference on Software Engineering, 2024, pp. 1–12. https://doi.org/10.1145/3597503.3623316

8. Nijkamp E., Pang B., Hayashi H., Tu L., Wang H., Zhou Y., et al. CodeGen: an open large language model for code with multi-turn program synthesis. arXiv, 2023. arXiv:2203.13474v5. https://doi.org/10.48550/arXiv.2203.13474

9. Touvron H., Lavril T., Izacard G., Martinet X., Lachaux M-A, Lacroix T., et al. LLaMA: open and efficient foundation language models. arXiv, 2023. arXiv:2302.13971v1. https://doi.org/10.48550/arXiv.2302.13971

10. Grattafiori A., Dubey A., Jauhri A., Pandey A., Kadian A., AlDahle A., et al. The Llama 3 herd of models. arXiv, 2024. arXiv:2407.21783v3. https://doi.org/10.48550/arXiv.2407.21783

11. Deb S., Jain K., van Tonder R., Le Goues C., Groce A. Syntax is all you need: a universal-language approach to mutant generation. Proc. of the ACM on Software Engineering, 2024, vol. 1, no. FSE, pp. 654–674. https://doi.org/10.1145/3643756

12. Groce A., Holmes J., Marinov D., Zhang L. An extensible, regularexpression-based tool for multi-language mutant generation. Proc. of the 40th International Conference on Software Engineering: Companion Proceeedings, 2018, pp. 25–284. https://doi.org/10.1145/3183440.3183485

13. Papineni K., Roukos S., Ward T., Zhu W.-J. BLEU: a method for automatic evaluation of machine translation. Proc. of the 40th Annual Meeting on Association for Computational Linguistics, 2002, pp. 311–318. https://doi.org/10.3115/1073083.1073135

14. Lin C.-Y. ROUGE: a package for automatic evaluation of summaries. Text Summarization Branches Out, 2004, pp. 74–81.

15. Zhang T., Kishore V., Wu F., Weinberger K.Q., Artzi Y. BERTScore: evaluating text generation with BERT. arXiv, 2020. arXiv:1904.09675v3. https://doi.org/10.48550/arXiv.1904.09675

16. Zhou S., Alon U., Agarwal S., Neubig G. CodeBERTScore: evaluating code generation with pretrained models of code. Proc. of the Conference on Empirical Methods in Natural Language Processing Proceedings, 2023, pp. 13921–13937. https://doi.org/10.18653/v1/2023.emnlp-main.859