A study of segmentation parameters in statistical machine translation from Arabic into Russian

Abstract

Статистический машинный перевод успешно применяется для перевода с арабского на русский язык. Однако, дополнение таких статистических систем лингвистической информацией еще недостаточно изучено. Наша идея заключается в том, что морфологическая сегментация арабских текстов может улучшить качество перевода. Это может происходить потому, что в арабском языке некоторые служебные части речи имеют тенденцию записываться слитно с другими словами, в отличие от русского. В этой работе мы, во-первых, рассмотрели процесс статистического машинного перевода. Затем, было предложено несколько схем для сегментации арабских текстов. После этого, с помощью системы Moses были обучены соответствующие модели перевода. В завершение, мы оценили результаты каждой из этих моделей на тестовом корпусе. В результате, для лучшей схемы мы получили улучшение в 0,95 пунктов BLEUScore.

Statistical machine translation (SMT) is successfully applied to the Arabic-Russian language pair. However, there is not much research about incorporation of linguistic information into such statistical systems. Our idea is that morphological segmentation of Arabic texts can benefit the accuracy and fluency of translation. The rationale behind this hypothesis is that Arabic tends to attach some functional words to other ones, what is not the case in Russian. In this paper, we firstly contemplate the process of statistical machine translation. Then, we suggest some schemes to segment Arabic texts. After that, we train SMT models using the Moses framework. Finally, performance of each model is evaluated on the testing set. As a result, we achieve 0.95 BLEUScore points improvement for the best of the schemes.