Study and development of methods for named entity recognition

Abstract

В работе освещены основные современные методы извлечения именованных сущностей из текстов различной тематики и жанровой принадлежности. Автором проведен обзор существующих систем выделения именованных сущностей и возможностей их адаптации под материал конкретной предметной области. В соответствии с поставленными задачами собран корпус текстов микроблогов на русском языке, проведена разметка трех типов сущностей - персона, организация и локация - и произведена адаптация двух различных инструментов извлечения именованных сущностей для анализа данного корпуса текстов. Работа по адаптации инструментов включала в себя написание грамматик (правил) и словарей-газетиров, настройку и замену модулей систем. В работе также проведено сравнение результатов систем на корпусе микроблогов с результатами, полученными на более традиционном для данной области корпусе новостных текстов. Полученные результаты говорят о целесообразности выбранного подхода и предоставляют возможность дальнейшего совершенствования методов и систем извлечения именованных сущностей, в частности, на собранном в рамках исследования корпусе.

The paper provides a review of main modern methods of named entity recognition. The author studies existing systems in order to identify the possibilities of their adaptation to the material of a particular subject area. In accordance with the tasks set, the corpus of microblogging texts in Russian language was compiled and annotated with three types of entities - person, organization and location. One of the tasks was to adapt two different named entity recognition tools to parse this corpora. Work on the adaptation of the tools included writing context free grammars (rules) and dictionaries-gazetteers, setting up and replacing system modules. The author also compares the results that the two systems have shown on microblog text with the results obtained on the more traditional newswire corpus. The results of the study indicate the expediency of the chosen approach and at the same time provide an opportunity for further improvement of methods and systems for named entity recognition, in particular, using the corpus assembled within the framework of the study.