Recognition of embedded subtitles in a video stream

Abstract

С быстрым развитием цифровых медиа видеоконтент стал одним из основных способов для людей получать информацию, развлечения и образование. Однако языковые барьеры или нарушения слуха делают субтитры все более важными. Субтитры помогают зрителям не только понимать видеоконтент, но и обеспечивают необходимую поддержку тем, кто столкнулся с языковыми или слуховыми нарушениями, а также учащимся. Поэтому разработка методов извлечения субтитров имеет большое значение для улучшения доступности и понимания видео. Цель настоящей статьи - исследовать и реализовать метод встраиваемого извлечения субтитров на основе технологии компьютерного зрения и оптического распознавания символов (OCR). Предложен метод многоступенчатой предобработки изображения, объединяющий обнаружение границ, анализ статических областей и анализ связанных компонент. На этапе предварительной обработки применяется метод адаптивного порогового значения для обнаружения границ с целью выявления потенциальных областей субтитров на видеокадрах. Затем с использованием техник анализа статических областей уменьшается шум и повышается точность локализации субтитров путем выявления общих областей на нескольких кадрах. На этапе обнаружения субтитров и распознавания текста в статье используется анализ связанных компонент для нахождения и маркировки связанных компонент на изображениях для точного определения областей субтитров. Затем технология OCR применяется для распознавания и преобразования извлеченных субтитров в редактируемые текстовые файлы. Для обеспечения синхронизации субтитров и видеоконтента вводится метод создания временных меток, вычисляя время появления и исчезновения каждого субтитра на основе номера кадра и частоты кадров видео. Структура настоящей статьи следующая: сначала представлена история исследований и связанная работа в области встраиваемого извлечения субтитров; затем подробно описан предложенный метод извлечения субтитров и его детали реализации; далее представлены экспериментальная установка и анализ результатов для оценки эффективности предложенного метода на различных наборах видеоданных; наконец, сделаны выводы и обсуждаются направления дальнейших исследований и перспективы применения. Через это исследование мы надеемся предложить новые идеи и методы, чтобы внести больший вклад в развитие технологии извлечения субтитров, обеспечивая доступность и понимание видеоконтента.

With the rapid development of digital media, video content has become one of the primary means for people to access information, entertainment, and education. However, language barriers or hearing impairments have made subtitles increasingly important. Subtitles not only help viewers understand video content but also provide necessary support for those with language and hearing impairments as well as learners. Therefore, developing subtitle extraction methods is of significant importance for enhancing the accessibility and comprehensibility of videos. This paper aims to research and implement an embedded subtitle extraction method based on computer vision and Optical Character Recognition (OCR) technology. A multi-step image preprocessing method combining edge detection, static region analysis, and connected component analysis is proposed. In the preprocessing stage, an adaptive thresholding method is employed for edge detection to identify potential subtitle regions in video frames. Subsequently, static region analysis techniques are used to reduce noise and improve subtitle localization accuracy by identifying common areas across multiple frames. In the subtitle detection and text recognition stage, the paper utilizes connected component analysis (CCA) to locate and label connected components in images for accurate subtitle region identification. Then, OCR technology is employed to recognize and convert extracted subtitles into editable text files. To ensure synchronization between subtitles and video content, a timestamp creation method is introduced, calculating the appearance and disappearance times of each subtitle based on frame number and video frame rate. The structure of this paper is as follows: first, the research history and related work in the field of embedded subtitle extraction are introduced; then, the proposed subtitle extraction method and its implementation details are described in detail; next, the experimental setup and result analysis are presented to evaluate the effectiveness of the proposed method on various video datasets; finally, the research findings are summarized, and future research directions and application prospects are discussed. Through this research, we hope to propose new ideas and methods to make a greater contribution to the development of subtitle extraction technology, ensuring the accessibility and comprehensibility of video content.