Learning methods of artificial neural networks in pattern recognition problems

Abstract

В данной магистерской диссертации предложены несколько критериев для оценки качества архитектуры ИНС с одним скрытым слоем, с помощью которых возможно выявить недостаток нейронов, а в некоторых случаях и избыток. Было показано, что сделать вывод об оптимальности архитектуры можно не только после окончания, но и на более ранних этапах обучения. Хотя возможность применения данных критериев имеет ряд ограничений, в некоторых задачах использование предложенных характеристик позволит значительно увеличить эффективность процедуры поиска оптимального количества нейронов. Также рассмотрены пути дальнейшего развития методов выбора оптимальной архитектуры, среди которых объединение с методами динамического изменения ширины слоев, не прерывающих процесс обучения, а также применение в глубоких и сверточных нейронных сетях.

The master's thesis proposes several criteria of the ANN architecture quality assessment on an example of a one-hidden-layer network. These criteria help to identify a lack of neurons and in some cases an excess. It was shown that a conclusion about the architecture may be drawn not only after training, but also at earlier stages of learning. Although the applicability of the proposed criteria has a number of limitations, in some problems they can significantly increase the efficiency of network architecture optimization. Also further ways of the method development were considered: they include application to deep and convolutional neural networks as well as combining with the methods of dynamical architecture changing not interrupting the learning process.