Application of machine learning methods in the problem of aggregating news articles

Abstract

Данная выпускная квалификационная работа посвящена изучению методов автоматической агрегации новостных статей на заранее заданные категории. Большинство новостных агрегаторов для разделения статей по темам либо используют ручной подход, либо ориентируются на то, к какой теме принадлежит новость в оригинальном источнике. Актуальность работы заключается в исследовании методов автоматического разделения коллекции новостей на заранее заданные тематики. Это поможет автоматизировать новостные агрегаторы и позволит им пользоваться новостными ресурсами без предварительной разметки. Целью работы является сравнение методов машинного обучения в задаче классификации и векторизации новостных статей. Также в ходе исследования была проведена оценка влияния различных векторизаторов на точность классификации документов.

This final qualifying work is devoted to the study of methods for automatic aggregation of news articles into predefined categories. Most news aggregators either use a manual approach to categorize articles by topic or rely on which topic the news item belongs to in the original source. The relevance of the work lies in the study of methods for automatic division of a news collection into predetermined topics. This will help automate news aggregators and allow them to use news resources without prior markup. The aim of the work is to compare machine learning methods in the problem of classification and vectorization of news articles. Also, in the course of the study, the impact of various vectorizers on the accuracy of document classification was assessed.