基于3D人脸跟踪的实时真人虚拟试发

摘要：

真人虚拟试发在虚拟社交、在线商城试戴和个人发型设计等领域具有明显的应用价值.现有的基于图像的2D虚拟试发系统无法让用户从不同的角度和距离实时观看试发效果,极大地限制了这类系统的可应用范围.为此,提出一个基于3D人脸跟踪的实时真人虚拟试发系统,用户仅使用一个网络摄像头,就能如同在镜子前试戴真实假发一样进行虚拟试发.首先结合深度学习技术与传统优化算法,从2D人脸视频帧中快速鲁棒地计算出对应的3D人脸形状和姿态,实现3D人脸跟踪;然后根据事先指定的若干对对应点,自动把3D头发佩戴到视频帧所对应的3D人脸模型;最后根据3D人脸模型对3D虚拟头发进行遮挡处理与绘制,实现虚实混合的真人虚拟试发效果.此外,还提出一种简单实用的3D头发重上色算法,以进一步增强虚拟试发效果.在室内外环境下,使用网络摄像头采集用户视频进行了大量的真人虚拟试发实验的结果表明,该系统是有效的和实用的.

关键词：虚拟试发;3D人脸跟踪;虚拟戴发;头发重上色

所属期刊栏目：33

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家重点研发计划;国家自然科学基金;浙江省自然科学基金

在线出版日期：2021-10-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：1398-1406