The development of a system for human-machine interaction thru fragments of oral Russian-language speech

Abstract

В данной работе изложен процесс разработки системы определения ключевых слов в русскоязычной речи с использованием технологий глубинного обучения, а также применение этой системы для организации взаимодействия человек-машина. Описан процесс построения архитектуры нескольких моделей сверточных нейронных сетей. Приведен разработанный метод для автоматического сбора и создания корпуса обучающих данных. Описаны процесс оптимизации гиперпараметров моделей с использованием инструмента с открытым исходным кодом Microsoft NNI и процесс обучения моделей на собранном корпусе данных. Проведена сравнительная характеристика обученных моделей. Описан принцип работы системы распознавания ключевых слов, основанной на применении лучшей из обученных моделей.

This paper outlines the process of developing a system for keywords spotting in Russian-language speech using deep training technologies, as well as using this system for organizing human-machine interaction. The process of building the architecture of several models of convolutional neural networks is described. A developed method for automatic collection of a training data case is given. Describes the process of optimizing the hyperparameters of models using the open source tool Microsoft NNI and the process of training models on the collected data corpora. A comparative characteristic of the trained models is presented. The principle of operation of a keyword recognition system based on the best of the trained models is described.