Detection of socially significant news in message flow

Abstract

В данной выпускной квалификационной работе рассматривается задача выделения актуальных и значимых событий из потока сообщений в социальных сетях. Поскольку не было найдено достаточно надежных методов выделения информации о событиях, то был предложен способ выделения информации о событиях с помощью кластеризации сообщений. Для проверки данного метода была разработана система сбора и хранения сообщений, собраны необходимые данные и проведен анализ эффективности применения различных методов кластеризации для данной задачи. Было показано, что данный способ выделения событий может показать неплохие результаты на реальных данных, а также определен лучший метод кластеризации для данной задачи.

In this final qualifying work a problem of detecting important and relevant events in the stream of messages is considered. As reliable methods were not found for this task, so a new method was introduced. This method relies on clustering set of messages received from messages stream. To test this hypothesis a system for gathering and storing messages was developed, necessary amount of data was collected and comparative analysis of known clustering methods was held. It was shown, that this method of detecting events can be effective on a real data, and the most suitable algorithm for this task was determined.