10.3778/j.issn.1002-8331.2306-0127
基于分离对比学习的个性化语音合成
个性化语音合成是指根据目标说话人的参考语音,合成具有目标说话人风格的语音.参考语音同时依赖于目标说话人风格和语音中的文本内容.现有方法将参考语音作为一个整体进行对比分析,但是在说话人风格和语言内容两方面没有进行分离对比分析,导致了合成语音受到语言内容的干扰,而偏离目标说话人风格的问题.设计了一种风格与内容分离的对比损失,用于个性化语音合成模型.该模型包括风格-内容分离对比模块、说话人模块、语音解码器模块.风格-内容分离对比模块将查询参考语音中的风格和内容视为正例,并使用风格-内容分离的负例.该分离负例能够促使查询的风格和其他参考语音中的内容分离,同时能够促使查询的内容与其他参考语音中的风格分离.风格内容分离对比模块用于学习兼顾风格-内容的语音特征.说话人模块学习说话人身份特征,并用于引导说话人风格学习.语音解码器模块融合风格-内容的语音特征和说话人身份特征,用于提高对持续时间、音高、能量这些说话人风格的描述能力.在VCTK和LibriTTS两个数据集上的实验表明,该方法提高了合成语音的说话人相似度,合成语音的质量优于现有方法.
语音合成、分离对比学习、说话人风格
59
TP391(计算技术、计算机技术)
安徽高校自然科学研究项目KJ2021A1573
2023-11-27(万方平台首次上网日期,不代表论文的发表时间)
共8页
158-165