融合多级属性与注意力机制的人脸替换方法

摘要：

针对当前人脸替换方法仅利用目标图像的姿势和表情指导换脸过程中常常忽略背景、光照等其他属性,同时生成的替换人脸与目标图像的融合效果较差的问题,提出一种融合多级属性和注意力机制的人脸替换方法.在提取目标图像属性阶段,基于U-Net结构设计一种多级属性编码器,采用多层次级联的卷积块和反卷积块以及层间连接准确、全面地提取目标图像的表情与背景属性,保留更多细节信息;在生成替换人脸阶段,设计一种结合注意力机制的生成器,利用注意力模型权重自适应地调整源人脸特征和目标属性集成的有效区域,使生成器生成更加符合视觉机制的替换人脸.在FaceForensics++图像集上的实验结果表明,与DeepFaceLab方法相比,该方法所生成的替换人脸与目标图像的结构相似度提高了6.73％,头部姿势差异和面部表情差异分别降低了1.026和0.491.该方法不仅更好地保留了源人脸特征信息,还更大程度地忠实于目标图像属性,达到了良好的替换效果.

关键词：人脸替换;生成对抗网络;注意力机制;多级属性编码器

所属期刊栏目：34

分类号：TP391.41(计算技术、计算机技术)

资助基金：陕西省重点研发计划2020GY-058

在线出版日期：2022-01-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：121-132