Translation concordance: Search and ranking of contexts for illustrating translations in a machine dictionary

Abstract

Работа посвящена поиску и ранжированию переводных контекстов для иллюстрации переводов в машинном словаре. Работа состоит из введения, четырёх глав, заключения, списка литературы и приложений. Создание словарей автоматическими методами – сравнительно молодое направление компьютерной лексикографии, поэтому неудивительно, что исследования, посвящённые автоматическому составлению иллюстративного блока, очень редки. Кроме того, в лексикографии в целом наблюдается разрыв между лингвистической теорией и лексикографической практикой. Лингвистическая описательная и аналитическая работа направлена на регистрацию широкого спектра явлений – нормы и отклонения от нормы, кода и узуса. В лексикографической работе регистрации и систематизации подлежит определённый класс явлений: в одних случаях описывается только норма, которая может быть в некоторых случаях результатом сознательного выбора специалистов, в других – параметры, характеризующие единицу языка с определённой точки зрения. Лингвистические теории, касающиеся сочетаемости лексем, практически не употребляются в лексикографической практике. Говоря же об иллюстративных контекстах в двуязычном словаре, неизбежно приходится упоминать понятие сочетаемости. Поэтому в работе будут рассматриваться и теоретические исследования, возможно, отчасти отражённые в существующих словарях, и особенности лексикографической практики (то есть существующие словари). Целью работы является разработка алгоритма ранжирования иллюстрирующих контекстов для англо-русского машинного переводного словаря. Исходя из данной цели, а также учитывая указанные выше проблемы, формулируются следующие задачи: 1) анализ принципов составления и особенностей существующих электронных словарей различных типов; 2) описание и анализ реализации иллюстративного блока в современной лексикографической практике; 3) описание подходов к сочетаемости и анализ их отражения в лексикографической практике; 4) выделение необходимых признаков для описания двуязычных контекстов, подходящих для иллюстрации статей в переводном словаре. Предполагается также решение следующих практических задач: 1) разметка потенциальных иллюстраций для создания обучающей выборки и дополнения набора признаков ранжирования; 2) реализация алгоритма ранжирования параллельных контекстов; 3) оценка качества ранжирования и релевантности выделенных признаков. Для ранжирования параллельных контекстов, описанных с помощью набора признаков, используются такие методы машинного обучения, как метод случайного леса и нейронная сеть прямого распространения. Материалом для исследования реализации иллюстративного блока послужили существующие англо-русские словари и словари сочетаемости английского и русского языка. Параллельные контексты для машинного переводного словаря, которые используются при ранжировании, извлечены из параллельного англо-русского интернет-корпуса. Актуальность работы обусловлена тем, что, как сказано выше, проблема иллюстративного блока практически не разработана в машинной лексикографии вообще, а особенно – в двуязычной. С другой стороны, компьютерная лексикография практически не учитывает опыт «безмашинной» лексикографии и многочисленные лингвистические исследования. Наша работа направлена на восполнение этого пробела. Практические результаты работы используются в рамках сервиса «Яндекс. Переводчик» и обсуждались в публикациях автора, а также в докладе на конференции «Диалог’2015».

The master thesis is concerned with ranking illustrative context examples for a translation dictionary. Automatic dictionary creation has quite a short history within computational lexicography, so not much work is devoted to machine dictionary illustration. Moreover, lexicography as a whole is now separated from linguistic theory. Descriptive and analytical linguistics deals with a wide range of linguistic phenomena, while lexicographic practice aims at describing a particular class of linguistic units or a particular phenomenon within a particular dictionary. Broad and highly elaborated linguistic theories are virtually never used in dictionaries because of their difficulty. However, more formal grounds the lexicographic intuition is required with respect to machine approaches to dictionary construction. That is why we are going to use theoretical studies concerning bilingual lexicography and collocations as well as existing dictionaries. The aim of the work is to develop a ranking algorithm for choosing an appropriate illustrative context for an English-Russian machine dictionary. The following tasks are addressed in the paper: 1) analyzing the principles and peculiarities of electronic dictionaries; 2) describing the illustration section in bilingual lexicography and in e-dictionaries; 3) describing various definitions of collocation and collocationality and their implementation in dictionaries; 4) formalizing the necessary feautures to describe a bilingual context; 5) annotating possible illustrations and creating training and test set; 6) implementation of a ranking algorithm; 7) testing the algorithm and analyzing the results. The experiments described in the paper are conducted using English-Russian parallel and monolingual corpora. The novelty of the work is due to the lack of any research in the field of illustrative methods in computational lexicography. The experimental results are used within “Yandex.Translation” service and have been discussed in several publications.