Automatic speech recognition based on visual information

Abstract

Чаще всего системы распознавания речи работают с аудио-сигналом записи речи человека, переводя его в текстовые данные. В некоторых случаях удобнее использовать только видео-сигнал и визуальную информацию. Такие модели рассматриваются в рамках данной работы.

В работе производится обзор существующих методов, применяемых в распознавании речи, и анализ их применимости при использовании визуальной информации. Предлагается подход к распознаванию последовательности сказанных слов из небольшого словаря на видео-записи.

Automatic speech recognition system usually works with audio-signal of recorded human speech and decodes it into the text data. In some cases it’s more convenient to use only video-signal and visual information for recognition. These models are considered within this paper.

The review of existing speech recognition methods and analysis of its adaptability in case of using visual information is considered. An approach of recognition of spoken words sequence from small dictionary on video is proposed.