Coreference resolution using clusterisation algorithms

Abstract

Данная работа описывает опыт создания прототипа системы для разрешения кореференции для текстов на русском языке.

Разрешение кореференции является одной из ключевых подзадач извлечения информации и заключается в объединении текстовых упоминаний, относящихся к одной сущности дискурса.

В данной работе мы поставили целью применить алгоритм кластеризации для разрешения кореференции на русскоязычных новостных текстов, сузив задачу до кластеризации имён собственных, которые относятся к персонам. Модель нашей работы включала в себя два этапа: извлечение упоминаний и их кластеризацию. Извлечение упоминаний происходило с помощью вручную написанных грамматик для Томита-парсера. Для объединения извлечённых имён в сущности, мы использовали аггломеративную кластеризацию на сущностном уровне с помощью векторов взвешенных признаков.

Мы проводили эксперименты на новостных текстах, размеченных для соревнования Dialogue Evaluation factRuEval-2016, а так же сравнивали результаты с участниками соревнования и встроенными алгоритмами Томита-парсера для извлечения и кластеризации имён. В итоге, мы получили сравнимые результаты и превзошли результаты Томита-парсера.

This work describes the experience of creating a coreference resolution prototype system for Russian-language.

Coreference resolution is a key subtask of Information Extraction, and aims to grouping mentions that refer to the same discourse entity.

This work was aimed to applying a clusterization algorithm for Russian-language newswire texts. We narrowed the task to Person proper names clusterization. Our approach model included two steps: mention extraction and clusterization. Mention extraction was proceeded by manually-created grammars for Tomita-parser. For mention grouping, we used agglomerative clusterization on entity level with the help of weighted feature vectors.

We run our experiments on newswire texts, annotated for fastRuEval-2016 competetion, organized by Dialogue Evaluation. We compare our results with competitors. As a baseline, we set built-in Tomita-parser algorithms for name extraction and name clusterization. We got comparable results, and outperformed the baseline.