基于SMPL的人物视频生成算法

摘要：

人物视频的生成需要人物外观和人物运动两部分信息.现有算法大都使用人物关键点在2D平面内的运动趋势作为运动信息,生成视频的视角只能是固定的.为了生成多视角的人物视频,提出了基于SMPL的人物视频生成算法.算法首先使用NERF配合SMPL人体模型对人物进行 3D建模,获取人物外观信息.随后,提取驱动视频中的SMPL人体模型参数作为人物的运动信息,驱动静态的人物3D模型.最后,使用NERF中的体渲染技术将人物3D模型映射到2D平面内,得到最终的人物视频.得益于SMPL模型的特点,生成的视频不仅可以任意切换视角,还可以任意修改人物的体型.

关键词：SMPL、NERF、视频生成

所属期刊栏目：13

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家重点研发计划2019YFB1802700

在线出版日期：2023-08-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：71-75