Syntactic Similarity Measuring of Russian Texts

Abstract

В данной работе рассматривается проблема связи синтаксических структур с семантикой в автоматических процедурах сравнения текстов. Целью исследования является разработка семантико-синтаксического алгоритма сравнительного анализа текстов на русском языке. В качестве теоретического обоснования представлена структура построения предложения в русском языке, обозначены выделяемые в нем единицы различных уровней синтаксического анализа, а также описаны существующие программы по сравнению предложений для различных языков. Кроме того подробно рассмотрены семантические, словообразовательные и семантико-грамматические отношения, связывающие лексемы русского языка. В практической части данного исследования представлен новый семантико-синтаксический алгоритм сравнения текстов на русском языке, рассмотрены результаты его применения к корпусу новостных текстов, а также дана оценка этих результатов.

This paper deals with connection between syntactic structures and semantics in text similarity measuring and aims at creating a novel approach to measuring syntactic and semantic similarity of Russian texts. We describe general structure of a sentence in Russian and its constituents on different levels of syntactic analysis, and give summary on modern algorithms calculating sentence similarity in different languages. Moreover, in this paper semantic, derivational and semantic-grammatical relations between Russian lexemes are described in details. We present a novel semantic-syntactic algorithm for measuring similarities of Russian texts, test it on a Russian news corpus and evaluate obtained results.