Negative emotion recognition using neural networks

Abstract

На данный момент распознавание эмоций является одной из самых актуальных тем в области машинного обучения и нейросетевых технологий. В работе описывается процесс записи и предобработки корпуса эмоциональной речи. В основу корпуса вошел уникальный список фраз, и соответствующие им контексты. Записанный корпус был обработан и прошел апробацию с помощью перцептивного эксперимента. Все аудио-фрагменты были преобразованы в изображения контуров основного тона, спектрограммы и мел-спектрограммы. Все четыре сформированные наборы данных (начальный набор данных; начальный набор данных без разбалансировки; начальный набор данных для бинарной классификации; набор данных, прошедший перцептивный эксперимент для бинарной классификации) были протестированы на четырехслойной модели сверточной нейронной сети. Реализованная сверточная нейронная сеть показала результаты ниже среднего на изображениях контура основного тона; средний результат был достигнут на спектрограммах (начальный набор данных без разбалансировки, начальный набор данных для бинарной классификации) и мел-спектрограммах (начальный набор данных для бинарной классификации). Результат выше среднего были достигнуты на наборах данных после перцептивного эксперимента, как у спектрограмм, так и мел-спектрограмм.

Nowadays, emotion recognition is the topic of current interest in the field of machine learning and neural networks. The thesis describes an experiment of recording of emotional speech dataset, which was based on a unique list of phrases with the corresponding contexts. The recorded dataset was processed and series of perceptual tests were performed. All audio fragments were transformed into pictures: tone contour, spectrograms and mel-spectrograms. All four formed datasets (initial data set; initial data set without unbalancing; initial data set for binary classification; data set that has passed an auditory experiment for binary classification) were tested on a four -layer model of CNN. The developed CNN showed results below average on pictures of the main tone contour; average results on spectrograms (initial dataset without imbalance, initial dataset for binary classification) and mel-spectrograms (dataset for binary classification); above average results were shown on datasets after auditory experiment for binary classification both spectrograms and mel-spectrograms.