Automatic paraphrases recognition in the text corpus of Russian language

Abstract

Выпускная квалификационная работа посвящена оценке эффективности методов дистрибутивной семантики при распознавании парафразов в русскоязычных текстах. Теоретической основой исследования является анализ механизмов перефразирования и подходов к автоматической идентификации парафразов. Практическое содержание исследования состоит в проведении и обработке результатов серии экспериментов по оценке семантической близости пар новостных заголовков на материале русскоязычного корпуса Paraphraser. Векторные представления заголовков получены с помощью алгоритмов семейства word2vec (CBOW, Skip-gram). Для каждой языковой модели подобраны пороговые значения, разделяющие парафразы и не-парафразы, вычислена погрешность и проведён анализ допущенных ошибок.

The master thesis is devoted to the evaluation of distributive semantic methods for paraphrase recognition. Theoretical background of our project implies the study of paraphrasing techniques and approaches to automatic identification of paraphrases. Practical content of research deals with a series of experiments aimed at measuring semantic similarity of news headlines pairs from Paraphraser corpus. We used word2vec models (CBOW, Skip-gram) in order to obtain distributed vector representations of target phrases. For each model we defined the threshold value which separates paraphrases and non-paraphrases, we calculated precision, recall and F-measure. Error analysis was also performed.