Representation of syntactic relations in the NLTK4RUSSIAN linguistic processor

Abstract

Целью работы является создание синтаксического анализатора для русского языка с использованием инструментов NLTK на Python и изучение его возможностей. Исследование проводилось в рамках проекта NLTK4RUSSIAN, нацеленного на адаптацию инструментов автоматической обработки текста в платформе NLTK для работы с русским языком. В NLTK есть возможность создавать собственные категориальные грамматики, основывающиеся на морфологической информации о входном тексте. Мы разработали такую грамматику для русского языка и исследовали возможности парсера, работающего на её основе. При написании правил грамматики мы опираемся на систему морфологической разметки, принятую в морфоанализаторе PyMorphy2. Была проведена оценка работы парсера на корпусе тестовых предложения, показавшая достаточно высокие результаты, а также описано применение парсера в прикладных задачах по извлечению ключевых слов.

The study is aimed at the development of the syntactic parser for Russian based on NLTK toolkit for Python. The work was conducted as a part of the research for the NLTK4RUSSIAN project, which is concerned with adjusting tools provided by NLTK for the analysis of Russian language. NLTK provides linguistic environment for building formal grammars. We developed and described a feature-based grammar which allows to analyze the most important syntactic groups within clauses occurring in Russian texts. Our parser operates with rules which include morphological information from the input sentences. The rules are based on the tagset accepted in PyMorphy2 morphological tagger. We also observed the possibilities of such parser and made the evaluation of its efficiency based on the corpus of test sentences. Finally, we suggested the idea of the application of such parser in the task of key words extraction.