3D face shape reconstruction based on morphable model

Abstract

В данной работе представлен итеративный статистический подход к реконструкции трехмерной поверхности лица и нахождению перспективной камеры по одному изображению повернутого лица. Основная идея заключается в нахождении по ключевым точкам на лице начального приближения с помощью OPnP алгоритма и использовании обратной ковариационной матрицы при минимизации функции стоимости в виде нелинейных наименьших квадратов методом Левенберга-Марквардта. Полученные алгоритмом значения применяются для восстановления положения и генерации трехмерной модели лица.

In this paper we propose an iterative statistical method for 3D face reconstruction and camera pose estimation from single source image. The basic idea is to initialize camera pose by OPnP algorithm from facial landmarks and to solve non-linear least squares problem with inverse covariance matrix by Levenberg-Marquardt method. The results of our method are used to reproduce position of the face and the fitting 3DMM model for reconstruction of 3D face shape.