Application of modified artificial neural networks in machine vision problems

Abstract

Сверточные нейронные сети являются мощным инструментом в области машинного зрения. На данный момент большинство сверточных нейросетей обучаются методом градиентного спуска с обратным распространением ошибки, который обладает рядом проблем, поэтому представляет интерес разработка альтернативных механизмов обучения. В данной магистерской диссертации разработаны альтернативные методы обучения сверточных нейросетей, основанные на постулате Хебба. Помимо этого, изучены базовые свойства и проанализированы некоторые проблемы фильтра Хебба и его различных реализаций, а также предложены для них некоторые модификации. Также предложено несколько вариантов реализации самоорганизующегося хеббовского обучения в задаче обучения с учителем. Качество предложенных моделей оценено на примере задач машинного зрения. В результате экспериментов удалось достичь достаточно высокого качества хеббовского обучения нейросетей, включая глубокую сверточную сеть. Это открывает широкие возможности, так как свойство локальности хеббовских алгоритмов делает обучение потенциально более быстрым, чем градиентное, и изначально избавляет обучение от таких трудностей градиентной оптимизации, как, например, проблема затухающих градиентов.

Convolutional neural networks are a powerful tool of computer vision. At the moment, most convolutional neural networks are being optimized by the method of gradient descent with error backpropagation, which has a number of problems. Therefore it is of interest to develop alternative learning mechanisms. This master's thesis proposes alternative methods of optimizing convolutional neural networks based on the Hebb’s postulate of learning. In addition, the basic properties and some problems of the Hebb filter have been analyzed, and some modifications have been proposed for them. The paper also contains several options for implementing self-organizing Hebb training in the task of supervised learning. The quality of the proposed models was estimated for computer vision problems. Hebb training of neural networks, including a deep convolutional one, achieves sufficiently high performance. This opens up wide possibilities, since the locality property of Hebb algorithms makes the learning process potentially faster than the gradient one, and initially relieves optimization from such difficulties of gradient optimization as, for example, the problem of vanishing gradients.