Study of the automatic translation evaluation metrics based on the professional literary translations

Abstract

Данная работа посвящена изучению качества работы автоматических метрик оценки переводов с помощью художественных переводов, выполненных профессиональными переводчиками. Объектом настоящего исследования являются проблемы автоматической оценки качества переводов. Предметом являются проблемы работы наиболее доступных автоматических метрик оценки при рассмотрении художественных переводов в языковых парах русский — английский, испанский — английский, испанский — русский. Настоящая работа состоит из введения, двух глав, заключения, списка литературы и приложений. Каждая глава сопровождается выводами. В заключении приводятся основные результаты исследования. Для достижения поставленной цели — оценки качества работы автоматических метрик и выявления возможных способов улучшения их работы — было проведено исследование отрывков из семи переводов двух художественных произведений: трех английских переводов поэмы «Мертвые души» Николая Васильевича Гоголя, двух испанских и двух английских переводов романа «Хитроумный идальго Дон Кихот Ламанчский» Мигеля де Сервантеса. В ходе исследования мы пришли к выводу, что в целом, на данный момент работу исследованных метрик нельзя назвать удовлетворительной. Представленные переводы не получают высоких оценок и в соответствии с данными метрик не являются эквивалентными оригиналу. Также мы рассмотрели возможные способы улучшения работы метрик.

The graduation thesis aims to research the quality of the results of automatic translation evaluation metrics. We studied the results of the evaluation of the artistic translations made by professional translators. The subject of this study is the problem of automatic evaluation of the quality of translations. The object is the performance of the most accessible automatic evaluation metrics when considering artistic translations in language pairs Russian - English, Spanish - English, Spanish - Russian. This paper consists of an introduction, two chapters, a conclusion, a list of references and an appendix. Each chapter includes inferences. The main results of the study are given in the conclusion. In order to achieve the goal - to evaluate the quality of automatic metrics and to identify possible ways to improve their work - we studied the extracts from seven translations of two novels: three English translations of the poem "Dead Souls" by Nikolai Gogol, two Spanish and two English translations of the novel "The ingenious gentleman Don Quixote of La Mancha" by Miguel de Cervantes. In the course of the study we came to the conclusion that, in general, the performance of the metrics at the moment doesn’t seem to be satisfactory. The translations did not receive high marks and, in accordance with metric data, are not equivalent to the original. We considered possible ways to improve the performance of the metrics.