Manifestation of the McGurk Effect while processing audiovisual stimuli by Russian speakers

Abstract

В работе рассматривается восприятие неконгруэнтных аудиовизуальных стимулов носителями русского языка. Объектом исследования является восприятие аудиовизуальной информации, а предметом – влияние визуальной информации на аудиальную при восприятии слогов русского языка. Основным методом работы является психолингвистический эксперимент. Материал исследования - видеозаписи произнесения слогов русского языка, в которых аудиоряд не соответствует видеоряду, и результаты восприятия этих записей носителями русского языка. В первой главе работы рассмотрены теоретические положения, связанные с восприятием информации и эффектом Мак-Гурка, а также понятие аудиовизуального объединения и способы интеграции аудиовизуальной информации. Во второй главе описано экспериментальное исследование, направленное на выявление сочетаний аудиальной информации и артикуляторных движений, при которых искажение, вызванное неконгруэнтностью слуховой и зрительной информации, проявляется сильнее всего для носителей русского языка. Результаты исследования могут использоваться для дальнейшего изучения аудиовизуальной интеграции на материале русского языка.

This study examines the perception of incongruent audiovisual stimuli by native Russian speakers. The object of the research is the perception of audiovisual information. The subject of the study is how visual information affects auditory information in the perception of Russian syllables. The main research method is a psycholinguistic experiment. As material for the study, special videos were created in which a native Russian speaker pronounced various syllables. The audio sequence of the syllables did not correspond to the visual one. We observed how native Russian speakers processed these videos. The paper describes different approaches to perception of information and the McGurk effect, as well as the concept of audiovisual integration and the ways of combining information from different perceptual modalities. An experimental study included three experiments aimed at identifying incongruent combinations of auditory information and articulatory movements that interfere with the perception of Russian speakers as a result of incongruence of auditory and visual information. This study can be used for further studies on audiovisual integration based on the Russian language.