Matching video sequence with digital images of Earth surface

Abstract

В работе рассмотрен один из способов решения задачи наложения снимков видеопотока на изображение карты земной поверхности. Кадры видеопотока склеиваются в панораму, после чего, используя информацию о дорогах на изображениях, находится преобразование между панорамой и картой. Рассматривается два различных подхода к склейке изображений: на основе гомографии и content-preserving warping. Второй подход более трудоемкий, однако, полученное с его помощью панорамное изображение лучше сохраняет реальные пропорции сцены. Для нахождения дорог на изображениях изображения видеопотока и карта бинаризуются, результаты бинаризации кадров видеопотока склеиваются в общую панораму дорог. Для обоих изображений находятся скелетные графы, и затем ищется преобразование подобия между двумя скелетными графами на основе локальной информации о ребрах графов в окрестности вершин, что делает возможным в будущем использование дополнительной информации о местности. Алгоритм был опробован на различных изображениях карты и продолжительном фрагменте видеопоследовательности, проведен анализ результатов работы алгоритма при разных значениях параметров, все результаты представлены в работе.

This paper presents one way to align frames video sequence on the earth surface’s map. Frames of video sequence are stitched onto panorama, then, transformation between panorama and map is found by using information about roads on images. Two different approaches are considered: homography-based and content-preserving warping. Second approach is more time-consuming but obtained by this method panorama saves real proportions of scene better. Frames of video sequence and map are binarized in order to roads finding on images and results of binarization are stitched onto common roads’ panorama. Skeleton graphs are found on both images and then similarity transformation is estimated between two skeleton graphs based on local information about graphs’ edges in vertexes’ neighborhood, which allows using additional terrain information. Algorithm was tested on different map images and long part of video sequence, analysis of results algorithm’s work with different values of parameters is conducted, all results are presented in paper.