Development of software for social data analysis

Abstract

В данной работе рассмотрено создание инструментария для автоматизированной обработки сложно связанных социальных данных. Работа разделена на три отдельные части. В первой для анализа отношений между пользователями и анализа структуры сети была рассмотрена задача обнаружения сообществ на графах. Был использован подход, объединяющий два известных алгоритма - LPA и алгоритм Гирвана-Ньюмана, которые были реализованы с помощью системы для распределенных вычислений на графах, использующей ресурсы жесткого диска компьютера, GraphChi. Во второй части для анализа социальной информации о пользователях, разделенных на кластеры, (такой как их сообщения) были рассмотрены задачи текстовой классификации и тематического моделирования. Применение инструментария к социальной сети ВКонтакте и полученные результаты описаны в третьей части.

In this paper we develop a software for automatic social network analysis. The paper is divided into three major parts. In the first one we consider a problem of detecting communities in directed networks for the purpose of revealing the structure of the network. We propose an approach that combines two well-known algorithms: LPA and Girvan-Newman algorithm that are implemented using GraphChi - a disk-based system for efficient computation on large-scale graphs on a single PC. In the second part we consider a problem of text classification and topic modelling for each community in order to analyse users’ messages. The application of proposed software to a real-world social network and results are described in the third part.