节奏舞者:基于关键动作转换图和有条件姿态插值网络的3D舞蹈生成方法研究

摘要：

3D舞蹈是元宇宙中虚拟人的一种重要表现形式,它将音乐与舞蹈进行有机结合,大大增强了元宇宙中相关应用的趣味性.之前的工作通常把3D舞蹈生成简单视作一个序列生成任务,但是生成的舞蹈动作质量较差且与音乐的契合度较低.受人类学习舞蹈过程的启发,提出了一种新颖的3D舞蹈框架——"节奏舞者"来解决上述问题.该框架首先使用VQ-VAE-2对舞蹈进行分层编码量化,可有效改善舞蹈生成质量;然后使用节奏点上的关键动作编码建立关键动作转换图,既可保证生成的舞蹈动作与音乐节拍的契合度,又可增加舞蹈动作的多样性.为了确保关键动作之间平滑自然地连接,提出了一个姿态插值网络来学习关键动作之间的转换动作.通过大量实验证明,该框架避免了长序列生成的不稳定和不可控问题,实现了舞蹈动作与音乐节奏的高度契合,达到了当前最优效果.

关键词：3D舞蹈、元宇宙、舞蹈生成、深度学习

所属期刊栏目：9

分类号：TP399(计算技术、计算机技术)

资助基金：广东省重点领域研发计划No.2021B0101400003

在线出版日期：2023-02-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共17页

页码：21-37