Efficient parallel implementation of neural network

Abstract

В данной работе рассмотрены некоторые варианты структуры рекуррентных нейронных сетей и алгоритмы их тренировки. Рассмотрены существующие параллельные реализации рекуррентных нейронных сетей; предложена новая функциональность для библиотеки CURRENNT. Эта функциональность была реализована в рамках работы. Проведён сравнительный анализ различных структур рекуррентной нейронной сети и алгоритмов её тренировки.

Different architectures of recurrent neural networks and various approaches to train them are discussed in this paper. We also consider existing parallel recurrent neural network implementations. We suggest new features for one of these implementations, CURRENNT library, and implement them. Comparative analysis of different recurrent neural network structures and algorithms to train them is conducted.