Using multimodal technologies to manage a virtual environment

Abstract

Данная работа представляет собой демонстрацию одного из способов использования человеческого слуха в качестве элемента управления в виртуальной среде. Цель работы – продемонстрировать в игровой форме способ взаимодействия с виртуальной средой, вынуждающий игрока ориентироваться на внутриигровые звуки для поиска решения задач в виртуальной среде. Задачи работы: разработать принцип использования слуховой модальности в качестве одного из важнейших элементов управления в виртуальной среде; изучить основные принципы работы с графическим движком Unreal Engine 4, а также программами-секвенсорами для создания аудио; с помощью полученных знаний создать игровой демонстрационный уровень в формате трёхмерной головоломки с объёмным звуком.

The following work is the gaming demonstration of one of the methods of using human hearing in the sense of controlling element in virtual environment. The main goal of this work is to demonstrate how players can use the sounds to solve the puzzles in virtual environment. The task of this work is to develop the principle of how audition modality can be used as a main controller in virtual environment, and to make it as a gaming demonstration in the form of puzzle 3D-game.