楞伽山人帖-语音合成TTS主要模型分析
语音合成TTS主要模型分析
Tacotron2+MB-MelGAN 语音合成模型【端到端自回归模型】
Tacotron2 由 Google 大脑和机器感知团队发布Tacotron 相对于传统语音合成系统 优势减少了特征工程,所有特征模型自行学习避免多模块误差累计Tacotron 缺点端到端不彻底,模型输出梅尔频谱,需要借助声码器转换为最终的语音波形 导致音质瓶颈排错难,人为干预能力差自回归原理,虽然和语言模型很像,但是音频采样点自回归更难,没有语言模型之前词嵌入的信息补充,需要自身更长历史信息才能保证预测准确率。模型结构
MB-MelGAN【Multi-band MelGAN】神经网络声码器 论文 /abs/