Obtaining a 3D model from disordered collection of images

Abstract

В последнее время было предложено множество методов для реконструкции трехмерной сцены по ее изображениям. Тем не менее, каждый из них ограничен своей областью использования и не применим в общем случае для реконструкции сцен с различной геометрической сложностью. В данной работе предлагается решить эту проблему путем совместного использования нескольких подходов к реконструкции сложных сцен. В качестве основы взят механизм реконструкции сцены по набору изображений, основанный на декомпозиции матриц. С его помощью выполняется построение первичной модели сцены в виде облака точек в пространстве. На указанную модель натягивается поверхность для выделения плохо реконструированных областей. Затем производится уточнение найденных частей сцены при помощи алгоритмов реконструкции по закраске и перестраивание полигональной сетки. Данный подход дает более точные результаты, чем используемые подходы по отдельности, что будет показано в эксперименте с реальной сценой.

Recently, many methods have been proposed for scene reconstruction from multiple images. However, each of them is limited in its scope of use and is not applicable for the reconstruction of scenes with various geometric complexity in general case. This paper proposes to solve this problem by combining multiple approaches to the reconstruction of complex scenes. The basis is the method of obtaining a 3D model from collection of images based on matrix decomposition. It is used to build a primal model of scene as a cloud of 3D points. After that the mesh is put on this model to extract badly constructed areas. In the following step is carried out detailed elaboration of extracted areas using the shape from shading algorithms and mesh recalculation. This approach provides more accurate results than each method alone. It will be demonstrated by experiment with a real scene.