Machine learning algorithms for 3D object reconstruction problem

Abstract

Данная работа представляет рассмотрение задачи реконструкции объемных объектов из одинарных изображений. Приводится теория, необходимая для понимания проблемы. Описывается один из эталонных наборов данных — Pix3D. Затем формально ставится задача с описанием формата входных и выходных данных. В качестве практической реализации решения задачи берется MarrNet — архитектура, разработанная учеными Массачусетского технологического института в 2018 году — являющаяся лучшим решением задач этого класса. Описывается идея, которая лежит в основе архитектуры, сама архитектура, парадигма обучения и результаты реализации. Приводится пример реконструкции объекта.

This work presents a consideration of the problem of reconstruction of volumetric objects from single images. The theory is given, which is necessary for understanding the problem. One of the reference datasets, Pix3D, is described. Then a problem is formally posed with a description of the format of the input and output data. As a practical implementation of the solution to the problem, MarrNet ​​is taken - an architecture developed by scientists at the Massachusetts Institute of Technology in 2018 - which is the best solution to problems in this class. The idea behind the architecture, the architecture itself, the learning paradigm and the results of implementation are described. An example of object reconstruction is given.