Spell Check server model

Abstract

В данной работе исследуются новые методы исправления опечаток в тексте, которые превзошли по качеству существующие подходы. Результат достигнут за счет использования нейронных сетей класса трансформер кодировщик-декодировщик с авторегрессионной частью для использования информации про контекст, а также применения дистилляции для ускорения работы нейронной сети, чтобы модель могла использоваться в режиме реального времени.

In this paper, we explore new methods for correcting typos in the text, which have surpassed existing approaches in quality. The result was achieved by using neural networks of the encoder-decoder transformer type with an autoregressive part to use information about the context, as well as using distillation to speed up the work of the neural network so that the model can be used in real time.