Learning word embeddings from characters

Abstract

Распределённые представления слов - набор широко используемых техник обработки естественного языка. Важная проблема распределённых представлений слов - невозможность работы со словами, которые отсутствовали в обучающей выборке. В этой магистерской диссертации предложена character-level нейронная сеть, которая может обучаться на распределённых представлениях и обобщать из на произвольные слова. Модель была протестирована на русскоязычных и медицинских текстах, а так же применена к задаче распознавания именованных сущностей.

Word embeddings are a set of widely used techniques in natural language processing. An important problem with word embeddings is inability to handle out-of-vocabulary words. In this master thesis a character-level neural network is proposed that able to learn on pretrained embeddings and expand it to arbitrary words. This model is tested on both russian language and medical dataset and applied to named entity recognition task.