Linguistic Foundations for the Construction of a Morphological Analyzer for Contemporary Yakut Language

Abstract

Цель работы заключается в разработке морфологического анализатора для современного якутского языка, способного обрабатывать неизвестные слова и устранять неоднозначность в результатах анализа в контексте предложения. Якутский язык относится к агглютинативным языкам, которые образуют огромное количество словоформ от одного корня путем добавления множества суффиксов. Обширное разнообразие словоформ приводит к недостаточному представлению каждой формы даже в крупных корпусах, что затрудняет статистическую обработку языка. Для решения проблемы в работе было предложено разработать морфологический анализатор, основанный на правилах, для эффективного анализа разнообразных форм слов и обучения модели на морфологически размеченных данных с целью разрешения возникающей неоднозначности в их морфологической обработке. В ходе разработки анализатора были учтены особенности агглютинативной структуры якутского языка и способы их реализации в программном обеспечении.

The aim of this work is to develop a morphological analyzer for the modern Yakut language capable of handling unknown words and resolving ambiguity in analysis results within sentence contexts. Agglutinative languages, like Yakut, generate a wide range of word forms from a single root by adding numerous suffixes. The extensive variety of word forms leads to inadequate representation of each form even in sizable corpora, which hampers efforts in statistical language processing. To tackle this challenge, the proposal is to design a rule-based morphological analyzer for efficient analysis of diverse word forms and to train a model on morphologically annotated data to resolve ambiguity in their morphological processing. During the development of the analyzer, considerations were given to the peculiarities of the agglutinative structure of the Yakut language and methods for their implementation in the software.