Evaluation of collocations emotional annotation of posts in the VKontakte social network using machine learning methods

Abstract

В данной работе исследуются возможности применения методов машинного обучения к оценке эмоциональной окраски текста постов, содержащих эмо́дзи, и словосочетаний в этих постах из социальной сети «ВКонтакте». Описывается несбалансированный набор данных с текстом постов, размеченный по 15 классам, учитывающим эмоциональную и тональную составляющие в тексте. На полученном наборе данных проводятся эксперименты с использованием 6 методов классического машинного обучения, их ансамблей с мажоритарным и мягким голосованием и 3 нейросетевых методов. Лучший результат по метрикам качества классификации получен для модели BoW +VotingClassifier (soft) (мешок слов + ансамблевый метод с мягким голосованием) на лемматизированном тексте c пунктуацией и с эмо́дзи: F1-мера macro = 69.70%, F1-мера weighted = 82.06% и для рекуррентной нейросети GRU на 15 эпохах обучения: F1-мера macro = 48.77%, F1-мера weighted = 83.74%.

Possibilities of applying machine learning methods to emotionality evaluation in the posts text with emojis and collocations in these posts from the VKontakte social network are investigated in this paper. An unbalanced data set with the posts text is described, the data set is annotated by 15 classes. In these classes the emotional and tonal components of text are taken into account. Experiments are conducted on the obtained data set with using 6 classical machine learning methods, their ensembles with hard and soft voting and 3 neural network methods. The best result by classification quality metrics was obtained for the Bag of words + VotingClassifier ensemble method with soft voting on lemmatized text with punctuation and emoji: F1-macro measure = 69.70%, F1-weighted measure = 82.06% and for the recurrent neural network GRU on 15 epochs of training: F1-measure macro = 48.77%, F1-measure weighted = 83.74%.