Natural language text completion using deep learning

Abstract

В данной работе рассматривается задача автодополнения текстов на естественном языке с использованием средств машинного обучения на примере решений российских судов. Для решения задачи предлагается использовать нейросетевые модели архитектуры Трансформер. В работе сравниваются две модели этой архитектуры, выбирается и дообучается наиболее подходящая из них, а также предлагается и реализуется метод улучшения результатов путём учёта контекста конкретного документа с помощью биграммной языковой модели.

In this paper, the problem of auto-completion of texts in natural language using machine learning tools is considered on the example of judgments of Russian courts. To solve the problem, it is proposed to use neural network models of the Transformer architecture. The paper compares two models of this architecture, selects and fine-tune the most suitable of them, and also proposes and implements a method for improving results by taking into account the context of a particular document using a bigram language model.