Automatic generation of domain-specific sentiment Russian dictionaries

Abstract

Дубатовка Алина Дмитриевна Автоматическая генерация тонально аннотированных русскоязычных словарей для произвольной предметной области Научный руководитель к.ф.-м.н., доцент Михайлова Елена Георгиевна Математическое обеспечение и администрирование информационных систем. Кафедра информационно-аналитических систем. В работе представлен алгоритм генерации тонально аннотированных русскоязычных словарей для произвольной предметной области на основе построения и анализа графовой модели. Было проведено исследование зависимости качества словаря от различных параметров построения и анализа графа. Отличительная особенность предложенного алгоритма заключается в том, что он не нуждается в предварительно размеченных экспертами данных для обучения, принимая на вход только достаточно большую коллекцию русскоязычных текстов из рассматриваемой предметной области. Описанный подход не имеет строгой привязки к русскому языку и при необходимости может быть обобщён для автоматического построения тонально аннотированных словарей на других языках. Генерация словарей положительных и отрицательных слов происходит при помощи анализа графа, построенного на основе неразмеченного корпуса русскоязычных текстов, взятых из заданной предметной области. Подобные корпусы могут быть сформированы автоматически для большинства областей. Вершинами графа являются прилагательные, а рёбра соединяют те из них, которые хотя бы в одном предложении были употреблены как однородные и соединены между собой противительным либо соединительным сочинительным союзом. В работе также проведено исследование применимости подобного подхода к русскоязычным текстам. В работе предложен и реализован оригинальный метод разбиения множества вершин описанного графа на подмножества позитивных и негативных слов. Алгоритм начинает свою работу с небольших начальных множеств, состоящих из прилагательных, эмоциональная окраска которых не зависит от контекста и предметной области (например, «плохой», «хороший», «ужасный», «прекрасный»). Дальнейшее разбиение графа происходит итеративно: каждый раз в множество положительных или отрицательных слов добавляется вершина, наиболее сильно связанная с уже имеющимися в нём вершинами. Было проведено сравнение нескольких весовых функций на рёбрах, а также функций расстояния от вершины до множества для составления наиболее точных словарей позитивных и негативных слов для произвольной предметной области. Количество использованных источников – 13. Библиографическое описание ВКР: Дубатовка, А. Д. Автоматическая генерация тонально аннотированных русскоязычных словарей для произвольной предметной области: магистерская дис.: защищена 05.06.2017 / Дубатовка Алина Дмитриевна. – СПб., 2017. – 34 с. – Библиогр.: с. 32–34.

Alina Dubatovka Automatic generation of domain-specific sentiment Russian dictionaries Scientific supervisor: Ph. D., associate professor Elena Mikhailova Software and administration of information systems. Analytical information systems. This paper presents an algorithm for generating the Domain-Specific Sentiment Russian dictionary using a graph model. It is important to emphasize that the described algorithm does not require any human labeling, but just a sufficiently large corpus of Russian texts from the subject area, which can be generated automatically for most domains. Our algorithm is not strictly confined to the Russian language and, if necessary, can be generalized to develop dictionaries in other languages. Dictionaries of positive and negative words are created using the analysis of the graph constructed on unlabeled corpus of the Domain-Specific Russian texts, which can be created automatically. The graph has adjectives extracted from the textual corpora as vertices and copulative and adversative relations between them as edges. To build such edges, conjunctions between coordinate adjectives are extracted from the texts and analyzed. The applicability of this method to build a graph for prediction of polarity of adjectives in reviews in Russian language is experimentally evaluated. The original method of graph processing for splitting the vertex set of this graph into subsets of positive and negative words was proposed and implemented. The algorithm starts with gathering a small seed set of adjectives, polarity of which is unambiguous irrespective of a subject area (for example, "bad", "good", "terrible", "excellent"). Further, words are distributed iteratively: each time a vertex is added to the set, if the vertex is most strongly associated with the already existing vertices in the set. Several weighting functions on the edges were compared, as well as functions of attraction to the sets of positive and negative words with the aim of composing the most accurate dictionaries of positive and negative adjectives for a specific subject area.