Bundle Adjustment and facial landmarks applied to 3D head tracking based on deformable 3D model

Abstract

Трехмерным трекингом лица называется отслеживание на видео положения головы в 3D-пространстве и деформаций, отвечающих за выражение лица. В данной работе трекинг рассматривается применительно к киноиндустрии для накладывания визуальных эффектов, что определяет специфику задачи --- акцент делается на точности решения. До начала работы уже был реализован алгоритм трекинга, основанный на отслеживании на видео двумерных точечных особенностей, который с неплохой точностью вычисляет решение на коротких последовательностях кадров, но из-за накапливающейся ошибки плохо справляется с длинными. Целью данной работы является улучшение его качества, для чего рассматриваются два подхода: добавление в трекинг лендмарок --- точек на лице, определяемых нейросетью --- и использование Bundle Adjustment --- метода одновременной оптимизации параметров на всех кадрах.

3D head tracking is, in essence, a video tracking of the head position and its deformations, corresponding to facial expressions, in a 3D space. The focus of this paper is using such tracking in the film industry, particularly when applying visual effects. This determines specifics of the task — accuracy is the most important feature of the solution. A tracking algorithm has already been implemented to track two-dimensional features on video. Its accuracy is decent when frame sequences are short, but it does not deal well with long frame sequences due to error compounding. The purpose of this project is to improve the quality of the algorithm. Two approaches are considered to achieve this goal: 1) usage of facial landmarks (points determined by a neural network) and 2) Bundle Adjustment, a simultaneous optimization of all frames.