Estimation of the 3D scene from the image set

Abstract

В данной работе исследуется задача трехмерной реконструкции сцены по набору изображений. Эта задача стала востребованной в связи с необходимостью наполнения систем виртуальной реальности данными из реальных сцен. Для её решения рассматриваются две отдельные задачи: семантическая сегментация изображения и построение карты глубин. Далее предлагается модернизировать капсульную нейронную сеть SegCaps, предназначенную для сегментации изображений, под задачу построение карт глубин. Капсульные нейронные сети, в отличие от сверточных нейронных сетей, учитывают пространственную иерархию между простыми и сложными объектами, что увеличивает точность их работы. К тому же особенности архитектуры снижают ошибку распознавания объекта в другом ракурсе на 45%. Все это делает капсульные нейронные сети более точными в задачах распознавания и предсказания. В результате проделанной работы модернизирована модель капсульной нейронной сети SegCaps для предсказания карт глубин. Были проведены тесты и сравнения с другими известными моделями, основанными на сверточных нейронных сетях.

In this paper, we study the problem of three-dimensional reconstruction of a scene using a set of images. This task has become popular due to the need to fill virtual reality systems with data from real scenes. To solve it, two separate tasks are considered: semantic image segmentation and depth mapping. It is further proposed to upgrade the SegCaps capsule neural network, designed for image segmentation, for the task of constructing depth maps. Capsular neural networks, unlike convolutional neural networks, take into account the spatial hierarchy between simple and complex objects, which increases the accuracy of their work. Besides, architectural features reduce the recognition error of an object from another angle by 45%. All this makes capsular neural networks more accurate in recognition and prediction tasks. As a result of the work done, the model of the capsule neural network SegCaps was updated to predict depth maps. Tests and comparisons were made with other well-known models based on convolutional neural networks.