Investigation of automatic text summarisation methods

Abstract

В работе рассмотрены основные подходы к экстракционному реферированию одиночных документов. Описаны несколько алгоритмов, представляющих различные подходы, а именно алгоритмы TextRank, LSA и k-means. Также описаны способы оценки их качества. Проведена оценка применимости этих алгоритмов к текстам на русском языке. Представлено сравнение этих алгоритмов по нескольким метрикам в применении к набору, состоящем из 35300 русскоязычных новостных статей, а также приведены примеры работы алгоритмов. В ходе оценки алгоритм TextRank показал лучшие результаты среди рассмотренных алгоритмов. Также проведена оценка и сравнение двух возможных модификаций алгоритма TextRank, одна из которых показала более высокие оценки по сравнению с оригинальным алгоритмом.

In work the main approaches to extractive summarization of single documents are considered. Algorithms TextRank, LSA and k-means, which represent various approaches, are described. Ways of evaluation of these algorithms are also described. The assessment of applicability of these algorithms to texts in Russian is carried out. Comparison of these algorithms on several metrics in the application to set, that consists of 35300 Russian-language news articles, is presented and also examples of work of algorithms are given. During evaluation the algorithm TextRank has shown the best results among the considered algorithms. The evaluation and comparison of two possible modifications of an algorithm TextRank is carried also out. One of these modification has shown better results in comparison with an original algorithm.