用于角色表情动画生成的深度学习技术

摘要：

人脸动作捕捉不仅需要对人脸几何信息进行模拟,而且需要准确传达人脸表情.传统的人脸动作捕捉技术,如ARkit,基于人脸的几何信息对面部表情进行捕捉,但是很难让观众体验到角色表情变化.而最近的基于情绪的动作捕捉技术,如ExprGen,考虑使用人脸情绪进行面部捕捉,但很难对角色脸部细节进行刻画.为此,提出将人脸几何信息和表情结合的方法,对动画角色进行控制.首先,通过训练神经网络识别人脸和动画角色表情,对人脸和动画数据集图像进行匹配.然后,通过训练端到端神经网络,提取角色表情信息,获得动画角色骨骼参数.最后,结合人脸几何信息对脸部关键点骨骼参数进行修正.通过对不同人脸输入,生成角色表情定性分析;用4个演员视频作为输入,带动角色运动的吸引力和强度定量分析证明了方法的准确性和实时性.

关键词：动画制作、深度学习、动作捕捉

所属期刊栏目：34

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金;国家重点研发计划;国家社会科学基金;上海市科委青年科技英才扬帆计划

在线出版日期：2022-05-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：675-682