Automatic extraction of news in social media using Weka

Abstract

В данной работе исследуется проблема автоматического выделения новостных текстов из социальных сетей при помощи методов машинного обучения. Целью исследования является разработка алгоритма выделения новостных сообщений из корпуса русскоязычных сообщений различной тематики из социальной сети Twitter. В работе рассматриваются теоретические вопросы классификации сообщений при помощи алгоритмов машинного обучения. В практической части исследования описан эксперимент по автоматическому выделению новостных сообщений в социальной сети Twitter с использованием наивного байесовского классификатора, представлены различные способы признакового описания текстов и оценка полученных результатов.

The paper deals with automatic detection of news on social media using machine learning methods and is aimed at developing an algorithm for the extraction of news from a corpus of tweets on different topics in Russian. The paper addresses theoretical issues of social media text classification using machine learning. The paper presents the results of an experiment aimed at automatic detection of news tweets. Naïve Bayes classifier was used to classify the texts. Several sets of document features and algorithms for the description of documents using these features are presented, together with the evaluation of experiment results.