Веб-приложение для быстрой оценки субъективных ответов с использованием обработки естественного языка

В современном цифровом пространстве развитие образования связано с продвижением компьютерных технологий. Происходит цифровизация образования: проводятся онлайн-классы, онлайн-экзамены и т. д. В период проведения экзамена учащиеся оцениваются педагогом по ответам на заданные вопросы. На настоящий момент доступно множество инструментов оценки успеваемости учащегося с использованием вопросов с несколькими вариантами ответов. Такой подход обеспечивает мгновенную оценку, однако инструментов, дающих возможность оценки субъективных ответов учащихся еще недостаточно. В работе представлено веб-приложение для решения этой проблемы. Приложение позволяет автоматизировать процесс проверки субъективных ответов и генерировать результаты с применением методов обработки естественного языка, таких как семантическое сопоставление ключевых слов, лексический анализ и косинусное сходство. Экспериментальные результаты показали, что ответы, оцененные педагогами, и предложенная система дают близкие результаты. Полученная точность ответов составила 97 %. Представленная система не только сокращает рабочее время, но и позволяет устранить традиционный метод проведения исключительно субъективных экзаменов с использованием бумажных документов. В результате сокращается время получения результатов и время проверки. Уменьшается утечка информации и повышается объективность оценки. 

1. Lakshmi V., Ramesh V. Evaluating students’ descriptive answers using natural language processing and artificial neural networks. International Journal of Creative Research Thoughts — IJCRT, 2017, vol. 5, no. 4, pp. 3168–3173.

2. Patil S.M., Patil S. Evaluating student descriptive answers using natural language processing. International Journal of Engineering Research & Technology (IJERT), 2014, vol. 3, no. 3, pp. 1716–1718.

3. Yin W., Kann K., Yu M., Schütze H. Comparative study of CNN and RNN for natural language processing. ArXiv, 2017, arXiv:1702.01923. https://doi.org/10.48550/arXiv.1702.01923

4. Kate A., Kamble S., Bodkhe A., Joshi M. Conversion of Natural Language Query to SQL Query. Proc. of the 2nd International conference on Electronics, Communication and Aerospace Technology (ICECA), 2018, pp. 488–491. https://doi.org/10.1109/ICECA.2018.8474639

5. Thangarasu S., Sasikala D. Extracting knowledge from XML document using tree-based association rules. Proc. of the International Conference on Intelligent Computing Applications (ICICA), 2014, pp. 134–137. https://doi.org/10.1109/ICICA.2014.37

6. Mati D.N., Ajdari J., Raufi B., Hamiti M., Selimi B. A Systematic mapping study of language features identification from large text collection. Proc. of the 8th Mediterranean Conference on Embedded Computing (MECO), 2019, pp. 8760042. https://doi.org/10.1109/MECO.2019.8760042

7. Cai J., Li J., Li W., Wang J. Deeplearning model used in text classification. Proc of the 15th International Computer Conference on Wavelet Active Media Technology and Information Processing (ICCWAMTIP), 2018, pp. 123–126. https://doi.org/10.1109/ICCWAMTIP.2018.8632592

8. Tan M., Santos C., Xiang B., Zhou B. Improved representation learning for question answer matching. Proc. of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), 2016, pp. 464–473. https://doi.org/10.18653/v1/P16-1044

9. Lan Y., Wang S., Jiang J. Knowledge base question answering with a matching-aggregation model and question-specific contextual relations. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2019, vol. 27, no. 10, pp. 1629–1638. https://doi.org/10.1109/TASLP.2019.2926125

10. Grappy A., Grau B., Falco M-H., Ligozat A-L., Robba I., Vilnat A. Selecting answers to questions from Web documents by a robust validation process. Proc. of the IEEE/WIC/ACM International Conferences on Web Intelligence and Intelligent Agent Technology, 2011, pp. 55–62. https://doi.org/10.1109/WI-IAT.2011.210

11. Lan Y., Wang S., Jiang J. Knowledge base question answering with a matching-aggregation model and question specific contextual relations. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2019, vol. 27, no. 10, pp. 1629–1638. https://doi.org/10.1109/TASLP.2019.2926125

12. Zhang W., Ming Z., Zhang Y., Liu T., Chua T. Capturing the semantics of key phrases using multiple languages for question retrieval. IEEE Transactions on Knowledge and Data Engineering, 2016, vol. 28, no. 4, pp. 888–900. https://doi.org/10.1109/TKDE.2015.2502944

13. Pakray P., Pal S., Bandyopadhyay S., Gelbukh A. Automatic answer validation system on English language. Proc. of the 3rd International Conference on Advanced Computer Theory and Engineering, 2010, pp. V6329–V6333. https://doi.org/10.1109/ICACTE.2010.5579166

14. Thalor M.A. A descriptive answer evaluation system using cosine similarity technique. Proc. of the 4th International Conference on Communication information and Computing Technology (ICCICT), 2021. https://doi.org/10.1109/ICCICT50803.2021.9510170

15. Mandge V.A., Thalor M.A. Revolutionize cosine answer matching technique for question answering system. Proc. of the International Conference on Emerging Smart Computing and Informatics (ESCI), 2021, pp. 335–339. https://doi.org/10.1109/ESCI50559.2021.9396864