基于时空图卷积网络的语音驱动个人风格手势生成方法

摘要：

人们在发言时的手势动作往往具有自己独特的个人风格,研究者们提出了基于生成式对抗网络的语音驱动个人风格手势生成的方法,然而所生成的动作不自然,存在时序上动作不连贯的问题.针对该问题,文中提出了一种基于时空图卷积网络的语音驱动个人风格手势生成的方法,引入以时空图卷积网络为基础的时序动态性判别器,构建手势动作关节点之间空间和时间上的结构关系,并通过时空图卷积网络捕获手势动作关节点在空间上的相关性和提取时序上的动态性特征,使所生成的手势动作保持时序上的连贯性,以更符合真实手势的行为和结构.在Ginosar等构建的语音手势数据集上进行实验验证,与相关方法相比,正确关键点百分比指标提高了2％～5％,所生成的手势动作更自然.

关键词：跨模态生成、手势生成、个人风格学习、时空图卷积网络、时序动态性

所属期刊栏目：49

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金

在线出版日期：2023-05-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：592-596