Study on machine learning methods for text summarization

Abstract

Задача автоматического реферирования приобрела особую актуальность в наши дни, в эпоху развития современных цифровых технологий, когда объемы данных безостановочно растут. В данной работе рассмотрен такой подход к реферированию, как извлечение из текстов наиболее важных предложений. Важность предложения складывалась из важности входящих в него слов. Для подсчета полезности (важности) слова использовалась такая мера, как взаимная информация между словом и кластером. Кроме того рассматривались и сравнивались два метода кластеризации: Information Bottleneck и К-средних. На основе различных подходов был разработан алгоритм для автоматического реферирования текста, а затем с помощью полученного алгоритма строились рефераты к текстовым документам и сравнивались с "идеальными" рефератами и рефератами, построенными другими системами.

The task of text summarization has acquired a special urgency in our days, in the era of the development of modern digital technologies, when the volume of data is continuously growing. In this work, such an approach to abstracting as extracting from the texts of the most important sentences are considered. The importance of the sentence was made up of the importance of words entering into it.To calculate the usefulness (importance) of the word, a measure was used such as the mutual information between the word and the cluster. In addition, two clustering methods were considered and compared: Information Bottleneck and K-means. Based on various approaches, an algorithm was developed for automatic text summarization, and then, using the algorithm, text documents were summarized and the summaries were compared with "ideal" summaries and summaries constructed by other systems.