Evaluation of automatic collocation extraction

Abstract

Данная работа посвящена оценке мер ассоциации, используемых для выявления коллокаций. Поставлена цель выяснить, насколько эффективны и релевантны эти меры ассоциации, и показать это на примере популярных мер. В работе рассматриваются теоретические вопросы извлечения коллокаций, классификации устойчивых словосочетаний, дано описание мер ассоциаций. В работе описан эксперимент по выявлению коллокаций из корпуса Araneum Russicum Russicum Maius объемом 1,2 млрд токенов в системе NoSketch Engine, представлена оценка работы мер ассоциации

This paper is devoted to the evaluation of the measures of association used to identify collocations. The goal of the work is to find out how effective and relevant these measures of the association are, and to show this with the example of popular measures. The paper deals with the theoretical issues of collocation extraction, the classification of stable word combinations, and describes the measures of associations. Further the experiment on collocation detection from the Araneum Russicum Russicum Maiuscorpus with the volume of 1.2 billion tokens in the NoSketch Engine system is described, the evaluation of the work of the association measures is presented.