Automatic identification of useful feedback from comments to the educational resources of the JetBrains Academy platform

Abstract

В работе исследуются методы классификации текстов, совмещающих в себе естественный язык и части кода на языке программирования Python. В практической части рассматривается реализация программы для автоматической сортировки комментариев студентов обучающей платформы "JetBrains Academy". Алгоритм возвращает только полезную обратную связь к обучающим материалам на сайте компании, на основе которых можно внести улучшения в теорию и практические задания. В программе использует один из четырех методов машинного обучения с учителем, описанных в теоретической главе, в сочетании с дополнительной проверкой на наличие в текстах определенных n-грамм, указывающих на релевантность комментария. Также в работе подробно описывается очистка исходного размеченного датасета, предобработка комментариев в нем и векторизация текстовых данных.

The paper investigates the text classification methods that combine natural language and code blocks written in Python programming language. The study focuses on a Python program which automatically sorts feedback comments from students of the online educational platform "JetBrains Academy". The algorithm returns only the insightful feedback on the educational content published on the company website, which can later be used to improve the theoretical section as well as practical assignments. The program utilizes one the the four supervised machine learning methods described in the theoretical chapter, along with an additional check for the presence of certain n-grams in the texts, indicating the relevance of the comment. The paper also contains the detailed description of the tagged dataset cleaning, the preprocessing of comments in it, and the vectorization of textual data.