Usage of video-sequences for convolutional neural network pre-training

Abstract

В работе представлено исследование на тему обучения нейронной сети, выполняющей задачу определения динамики на входном изображении, а также задачу генерации следующего состояния запечатленного участка с учетом изменяющихся динамических объектов на изображении. Были построены различные нейронные сети: сверточная нейронная сеть, определяющая направление хода времени между двумя соседними кадрами видеоряда, а также генеративная сеть, предсказывающая следующий кадр по одному предыдущему. Для построения генеративной сети были рассмотрены разные подходы, одним из которых является генеративная состязательная сеть. Также, был поведен анализ внутренних слоев классифицирующей сети при помощи визуализации отдельных нейронов, который позволил выявить некоторые интересные особенности обученной сети.

A study of training of the neural network that performs the task of determining the dynamics in an input image is presented. Also, the training of the generative neural network that predicts the next state of an input image by taking into account changing dynamic objects was studied. For that purposes different neural networks were constructed: a classifying convolutional neural network that determines the direction of the time flow between the two given frames of video, as well as a generative network the predicts the next frame by the previos one. Various approaches were considered for the generative network, one of which is a generative adversarial network. Additionally, the analysis of the hidden layers of the classifier was performed by visualizing separate neurons of the network, which revealed some interesting characteristics of the trained network.