Automatic determination of the complexity of English texts according to CEFR levels

Abstract

В работе рассмаривается автоматизация определения уровня сложности английского текста путем машинного обучения. За шкалу сложности принято соответствие общепринятым в методике CEFR уровням владения иностранным языком: Elementary(Beginner), Pre-intermediate, Intermediate, Advanced. Работа изложена на 43 страницах. В математической постановке задачи приведена математическая модель текстов и рассмотрены алгоритмы классификации и кластеризации текстов: классификатор Байеса, «Случайный лес», деревья решений, множественная линейная регрессия, алгоритм Краскала. Автор работы показал, чтопоставленную задачу можно решать автомат­ически: один из рассматриваемых методов, классификат­ор Байеса, показывает достаточно точный результат. Подобранн­ые характеристические функции, определяю­щие векторную модель текста, хорошо подх­одят для автоматичес­кой классификации.

Automatic determination of the complexity of English texts according to CEFR levels is considered in the paper. There are 4 levels: Elementary (Beginner), Pre-intermediate, Intermediate, Advanced. The work is presented on 43 pages.In the chapter devoted to the mathematical problem, the mathematical model, classification and clustering algoritmhs are presented, as follows: Bayesian learning, «Random forest», decision trees, multiple linear regression, Kruskal`s algoritm. Author of the work has demonstrated, that the aim can be achieved automatically. One of the methods described in the paper, Bayesian learning, is giving reasonably accurate result. Selected characteristic functions that determine the vector model of a text are well suited for automatic classification.