Detection of the subtitles in the video stream

Abstract

В настоящее время субтитры играют огромную роль для людей, которые не владеют языком, используемым в видеопотоке или имеют нарушение слуха и не в состоянии полноценно воспринимать информацию на слух. Более того, ввиду большого количества субтитров в кадре или их быстрой смене их не всегда удобно воспринимать, а также достаточно трудоемким и долгим процессом является отделение текста от видеопотока. Также достижение цели усложняется тем, что чаще всего на изображении присутствует неоднородная фоновая структура, усложняющая задачу сегментации изображения и распознавания текста. Задача становится актуальнее ввиду огромного количества информации, архивированной человеком. Распознавая внедренные в видеопоток субтитры, появляется возможность предоставить зрителю отдельно от видеопотока работать с текстом, проводить его анализ. В данной работе предложен алгоритм, позволяющий сегментировать и распознать внедренные в видеопоток субтитры.

Currently, subtitles play a huge role for people who do not speak the language, and can deal with hearing impairment and are not able to fully perceive information by ear. Moreover, due to the large number of subtitles in the frame or their quick change, they are not always convenient to perceive, and also quite time-consuming and long-term way is to separate the text from the video stream. To achieve this, a heterogeneous background structure is required. The task becomes urgent due to the huge amount of information archived by man. Recognizing subtitles embedded in a video stream, it is possible to provide viewers with text separately from the video stream and to analyze it. In this paper, we propose an algorithm that allows you to segment and recognize subtitles embedded in a video stream.