联合语义分割与边缘重建的深度学习图像修复
目的 传统图像修复方法缺乏对图像高级语义的理解,只能应对结构纹理简单的小面积受损.现有的端到端深度学习图像修复方法在大量训练图像的支持下克服了上述局限性,但由于这些方法试图在约束不足的情况下恢复整个目标,修复的图像往往存在边界模糊和结构扭曲问题.对此,本文提出一种语义分割结构与边缘结构联合指导的深度学习图像修复方法.方法 该方法将图像修复任务分解为语义分割重建、边缘重建和内容补全3个阶段.首先重建缺失区域的语义分割结构,然后利用重建的语义分割结构指导缺失区域边缘结构的重建,最后利用重建的语义分割结构与边缘结构联合指导图像缺失区域内容的补全.结果 在CelebAMask-HQ(celebfaces at-tributes mask high quality)人脸数据集和Cityscapes城市景观数据集上,将本文方法与其他先进的图像修复方法进行对比实验.在掩膜比例为50％～60％的情况下,与性能第2的方法相比,本文方法在Celebamask-HQ数据集上的平均绝对误差降低了4.5％,峰值信噪比提高了1.6％,结构相似性提高了1.7％;在Cityscapes数据集上平均绝对误差降低了4.2％,峰值信噪比提高了1.5％,结构相似性提高了1.9％.结果 表明,本文方法在平均绝对误差、峰值信噪比和结构相似性3个指标上均优于对比方法,且生成的图像边界清晰,视觉上更加合理.结论 本文提出的3阶段图像修复方法在语义分割结构与边缘结构的联合指导下,有效减少了结构重建错误.当修复涉及大面积缺失时,该方法比现有方法具有更高的修复质量.
图像修复、生成对抗网络(GAN)、语义分割、边缘检测、深度学习
27
TP391(计算技术、计算机技术)
国家自然科学基金;山西省高等学校科技创新资助项目;山西省回国留学人员科研资助项目
2022-12-26（万方平台首次上网日期，不代表论文的发表时间）
共13页
3553-3565
