利用多模态注意力机制生成网络的图像修复

摘要：

图像修复在老照片复原、目标移除、视频编辑等领域有重要的应用价值,但现有的利用单模态注意力机制的图像修复方法和修复结果存在纹理模糊、语义缺乏等问题.为此,提出一种利用多模态注意力机制生成网络的图像修复方法.首先采用U-Net作为网络的基本框架,实现破损图像的编码、解码以及跳跃连接操作;然后在编码和解码阶段分别构建利用多模态注意力机制的特征提取模块和图像修复模块,通过多尺度的特征融合得到更细粒度的图像修复结果.实验结果表明,在Paris StreetView,CelebA和Places2 数据集上,针对 3 种不同的图像破损率,基于SSIM,PSNR和L1 的 3 种定量评价指标,利用所提方法在 27 个对比项中取得了 20 个优于、1 个相同、6 个略低于其他 4 种对比方法的结果,验证了所提方法的有效性.

关键词：图像修复、多模态注意力机制、深度学习

所属期刊栏目：35

分类号：TP391.41(计算技术、计算机技术)

资助基金：安徽省重大专项202003a06020016

在线出版日期：2023-10-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：1109-1121