Automatic generation of domain-specific sentiment dictionaries as illustrated by bank reviews

Abstract

В работе рассматривается алгоритм автоматического составления тональных словарей, которые используются в процедурах анализа тональности. В исследовании был использован русскоязычный корпус текстов отзывов о банках. Основная идея подхода – оценка корреляции двух случайных событий: «слово содержится в отзыве» и «отзыв описывает недостатки/достоинства». Для оценки корреляции были построены таблицы сопряженности и применен критерия согласия Пирсона («Хи-квадрат»). Так, были получены словари тональных лексем (702 слова) и конструкций (400 словосочетаний). Удалось выделить как общеупотребительные тонально окрашенные слова и словосочетания (грубый, отвратительный, доброжелательный, потрясающе, неприятная ситуация, страшный сон), так и относящиеся к банковской сфере (ипотечный кредит, приличный кэшбэк, минимальный процент, банкомат зажевал (карту), огромная комиссия). В основе оценки качества работы алгоритма был использован метод кросс-валидации, показавший достаточно высокие результаты: полнота (67,4%) и точность (78,4%). Данный алгоритм в дальнейшем можно применить для автоматического составления предметно-ориентированных тональных словарей других предметных областей, а также его можно использовать для маркетинговых исследований банковских услуг.

In our thesis we discuss the method of the automatic construction of the sentiment lexicons used in opinion mining and sentiment analysis. In research we relied upon the Russian corpus of bank reviews. The main idea is the correlation evaluation of 2 random events “the word is in the review” and “the review is positive/negative”. For the correlation evaluation we used contingency tables and Pirson criterion. Thus, sentiment lexicons (702 sentiment lexemes and 400 constructions) were extracted. We received both common (грубый, отвратительный, доброжелательный, потрясающе, неприятная ситуация, страшный сон) and bank-specific sentiment lexemes and phrases (ипотечный кредит, приличный кэшбэк, минимальный процент, банкомат зажевал (карту), огромная комиссия). To evaluate the quality of the algorithm we calculate recall (67,4%) and precision (78,4%) using the method of cross-validation. In future the algorithm can be used for sentiment lexicon generating for other domains or for marketing analysis of bank services.