Localization and recognition of subtitles embedded in video stream

Abstract

В данной работе рассматривается решение проблемы, появившейся вследствие субтитров, встроенных в видеопоток, не имеющих текстовой версии, что не позволяет взаимодействовать с видео и текстом в привычном варианте. Цель исследования - локализация и распознавание внедрённых субтитров в видеопотоке. Поставлены задачи создания алгоритма способного распознавать текст субтитров при любых даже наиболее проблемных видеорядах и возвращение его вместе с временными метками пользователю, для чего выделены этапы: бинаризация, обнаружение субтитров, определение кадров, содержащих текст, поиск моментов смены текста и его распознавание. Были использованы методы поиска контуров, статичных зон, метод “заливки” и связных компонент. В результате был сформирован текстовый файл в формате пригодном для использования в качестве субтитров.

This work examines solution to the problem, appearing due to subtitles being a part of a video stream itself without existing subtitle text duplicate, which limits possible interactions with video and text. Purpose of this research is localization and recognition of subtitles embedded in video stream. In this paper were raised problems of creating algorithm capable of recognizing subtitles despite the most problematic video and returning them together with time stamps to user. To accomplish this were designated stages such as binarization, subtitles localization, classification of images containing text, detecting text change in consequent frames and text recognition. Edge features, spatial-temporal approach, “filling” method and connected components are methods used in this paper. As a result, text file was formed in format valid for use in media players.