实时语音驱动的虚拟说话人

摘要：

该文实现了一个实时语音驱动的虚拟说话人面部动画方案。随着语音信号的输入,同步生成对应的面部动画。这种实时语音驱动的虚拟说话人在可视电话、虚拟会议、音视频聊天等即时通讯与娱乐媒体领域具有巨大的应用潜力。由于音素是最小的可分发音单元,因此构建音素识别器,对输入语音信号进行实时音素识别。为提高语音与口型的同步效果,改进了音素识别与输出算法。考虑协同发音影响,利用动态视素生成算法,将识别得到的音素转化为对应的面部动画参数序列。最后用参数序列驱动按照MPEG-4面部动画标准参数化的3-D头部模型,实现面部动画的同步生成。主观MOS评测结果表明：本文所实现的实时语音驱动虚拟说话人在的同步性和逼真度上的MOS评分分别达到了3.42和3.50。

关键词：可视语音合成、虚拟说话人、面部动画

所属期刊栏目：51

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;陕西省科技计划青年科技新星项目;陕西省自然科学基础研究计划

在线出版日期：2012-04-21（万方平台首次上网日期，不代表论文的发表时间）

页码：1180-1186