The problem of evaluating the quality of machine translation

Abstract

Работа посвящена проблеме оценки машинного перевода. Для проведения исследования в качестве исходных текстов были отобраны 100 текстов экономической, юридической, технической и художественной тематики на английском языке. Для сопоставительного анализа в качестве эталонных текстов были взяты их готовые переводы, выполненные профессиональными переводчиками бюро или переводческих компаний. В качестве метрики оценки выступила метрика автоматической оценки качества перевода BLUE. Для проведения эксперимента были выбраны наиболее популярные онлайн-сервисы, такие как Google Translate, Promt.One, DeepL, Яндекс Переводчик и Context Reverso. Исследования включало в себя обработку текстов на исходном языке в каждой из автоматических систем, сравнение полученных машинных переводов с референтным в метрике автоматической оценки, выделение основной типологии ошибок, допускаемых данными системами для каждой тематики, устранение особо грубых ошибок вручную на этапах предредактирования и постредактирования, повторная обработка подготовленных текстов в системах машинного перевода и сравнение их качества с эталоном. По результатам проведенного эксперимента, наилучшее качество продемонстрировали системы машинного перевода DeepL и Google Translate, а наиболее подходящей тематикой для перевода в этих системах является юридическая благодаря наличию параллельной структуры, клише и нормативной лексики и синтаксиса в исходных текстах. Данные результаты актуально использовать для определения основных проблем функционирования популярных программ машинного перевода и их последующего усовершенствования, а также для выбора наиболее эффективной системы машинного перевода.

This paper is devoted to the problem of evaluating the quality of machine translation of 100 English texts on economic, legal, technical and art topics. The reference texts for the comparative analysis were provided by professional translators of bureaus or translation companies. The assessment of machine translations have been conducted with the help of BLUE, a metric for automatically evaluating machine-translated text. The experiment was conducted for such online machine translation systems as Google Translate, Promt.One, DeepL, Yandex Translator and Context Reverso. The study included the comparison of machine-translated texts with reference translations in the automatic evaluation metric, identifying the typology of translation errors for each topic, correcting the most serious mistakes manually at the pre-editing and post-editing stages, re-editing the texts prepared by the machine translation systems, and comparing their quality with the reference texts. The results of the study led to the conclusion that the best machine translation systems are DeepL and Google Translate while the best topic to be translated in these systems is a legal one. These results are relevant for determining the main problems in the machine translation programs and their subsequent development, as well as for selecting the most effective machine translation system to match customers’ purposes.