基于密集特征推理及混合损失函数的修复算法

摘要：

为有效解决现有算法修复大面积不规则缺失图像时存在特征利用率低、图像结构连贯性差的问题,提出基于密集特征推理(DFR)及混合损失函数的图像修复算法.修复网络由多个特征推理(FR)模块密集连接组成,首先将待修复图像输入第1个推理模块中进行特征推理,之后将输出特征图通道合并送入下一个推理模块,后续推理的每一个模块的输入都是来自前面所有推理模块的推理特征,如此循环,以充分利用每个推理模块捕获的特征信息;然后提出一个传播一致性注意力机制(PCA),提高修补区域与已知区域的整体一致性;最后,提出混合损失函数(ML)优化修复结果的结构连贯性.整个DFR网络使用组归一化(GN),小批量训练也可达到优异的修复效果.在国际公认的Paris StreetView巴黎街景数据集和CelebA人脸数据集上验证文中所提算法的性能,主客观的实验结果表明:所提算法能有效修复大面积不规则缺失图像,提升特征利用率与结构连贯性,其平均峰值信噪比(PSNR)、平均结构相似度(SSIM)、均方误差(MSE)、弗雷歇距离(FID)及学习感知图像块相似度(LPIPS)指标优于对比算法.

关键词：图像修复、密集特征推理、注意力机制、混合损失函数、组归一化

所属期刊栏目：51

分类号：TP391.41(计算技术、计算机技术)

在线出版日期：2023-10-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：99-109