Prediction of phrase intonation for text-to-speech synthesis

Abstract

Благодаря активным исследованиям в области комплексных систем синтеза речи в последнее время, синтезированная речь по своей естественности стала приближаться к человеческой. Однако было неоднократно показано, что использование лингвистических признаков в таких системах способствует дальнейшему улучшению качества синтеза. Интонационная аннотация также может быть применена для этой цели. По этой причине в данной работе исследуется метод предсказания интонационного оформления высказывания. На материале русского языка была разработана система, предсказывающая расположение интонационных центров и интонационные модели (в терминах системы интонационного описания Н. Б. Вольской). Были обучены дикторозависимые и дикторонезависимые BiLSTM модели, а также было изучено влияние различных признаков на работу системы: синтаксических, пунктуационных, морфологических. фонетических и эмбеддингов BERT. Дикторонезависимая система показала 90% F1-меры при предсказании расположении интонационных центров и 61% точности при предсказании интонационных моделей. Также была исследована эффективность дикторозависимых и меж-жанровых моделей.

Thanks to recent advances in End-to-End systems for Text-to-Speech synthesis, the level of naturalness of synthesized speech is now close to the human one. However, the use of linguistic features in such systems has been repeatedly demonstrated, as they significantly improve the synthesis of prosody. Among other features, predicted prosodic annotation can be also applied to this end. Thus, in this study, I explore the method of intonation pattern prediction from the text. Using the material of Russian, I attempt to predict the nucleus placement within an intonation phrase and classify it in terms of systems of Russian intonation description. Speaker-dependent and independent BiLSTM models are trained, and the influence of such features as syntactic relations, BERT embeddings, punctuation, POS tags, and phrase break indication is studied. The speaker-independent model shows 90% of F1-measure for nucleus placement and 61% of accuracy for intonation construction prediction. Performance of speaker-dependent and cross-genre models is also estimated.