Methods of topic modelling of ad hoc discussions in social networks

Abstract

Целью данной работы стала разработка методов тематического моделирования крупных пользовательских ad-hoc дискуссий в социальных сетях, позволяющие с учетом специфики анализа коротких текстов автоматически выявлять темы, которые затрагивают пользователи в своих сообщениях. Применение подобных моделей позволяет как уменьшать размерность данных , так и выделять основные идеи, аргументы и мнения. В рамках данной работы был проведен сравнительный анализ различных моделей тематического моделирования. Были рассмотрены как модели специализированные для анализа коротких текстов, так и модели с доказанной эффективностью для различных типов данных. В результате был разработан программный комплекс для тематического моделирования крупных пользовательских ad-hoc дискуссий в социальных сетях, основанный на использовании методов тематического моделирования LDA, BTM , WNTM, проведен сравнительный анализ данных методов на 3 реальных ad-hoc дискуссиях в социальной сети Twitter.The goal of this work was to develop methods of topic modeling for large user ad-hoc discussions in social networks, allowing, with accordance for the specificity of the analysis of short texts, to automatically identify user topics in messages. The use of such models allows both to reduce the dimensionality of data, and to highlight the main ideas, arguments and opinions. In this work, a comparative analysis of various topic models was carried out. Models specialized for analyzing short texts and models with proven efficiency for various types of data were considered. As a result, a software package was developed for topic modeling of large user ad-hoc discussions in social networks based on the use of LDA, BTM, WNTM algorithms, a comparative analysis of these methods was carried out on 3 real ad-hoc discussions on the Twitter social network.