Image recognition of mathematical expressions

Abstract

В рамках данной работы рассмотрены задача восстановления разметки на языке LaTeX по заданному изображению математического выражения (формулы). Проанализированы существующие решения и построена нейронная сеть на основе архитектуры трансформер для решения поставленной задачи. Предложены методы для улучшения обучения, которые привели к более качественному распознаванию формул с точки зрения метрики BLEU.

Within this work, the task of LaTeX markup reconstruction given a formula image is considered. Existing solutions and approaches are reviewed, and a neural network is proposed, which is based on the transformer architecture. Furthermore, several techniques are proposed in order to improve the training speed and convergence, which are shown to lead to a higher quality of formulae recognition in terms of the BLEU metric.