End2End voice modelling

Abstract

В этой работе мы исследовали задачу синтеза речи. Нами была получена новая параметризация звукового сигнала. Экспериментально было доказано, что используя спектрограммы вместе с этой параметризацией можно получить аудио, которое звучит более естественно, чем с алгоритмом Гриффина-Лима. Этот результат позволит избавиться от нейросетевых вокодеров, которые вычислительно дороги. Была обучена модель синтеза речи, которая состоит из модифицированной модели FastPitch, генерирующей спектрограммы, и оптимизации параметров на- шего представления сигнала, из которого мы получаем итоговое аудио. Также экспериментально было показано, что используя разные способы пред- сказания фазовой информации вместе со спектрограммой, не получается гене- рировать аудио, сопоставимые по качеству с человеческой речью.

In this work, we investigated the problem of text-to-speech synthesis. We obtained a new parametrization of the audio signal. It was experimentally proved that using spectrograms along with this parameterization it is possible to produce audio that sounds more natural than with the Griffin-Lim algorithm. This result will make it possible to get rid of neural vocoders, which are themselves computationally expensive. A speech synthesis model was trained, which consists of a modified FastPitch model generating spectrograms and optimization of the parameters of our signal representation. It was also experimentally shown that using different methods of predicting phase information together with a spectrogram, it is not possible to generate audio comparable in quality to human speech.