融合全局和局部特征的光场图像空间超分辨率算法

摘要：

光场相机传感器有限的空间分辨率阻碍了光场图像处理相关研究的进展.提出一种融合全局和局部特征的光场图像空间超分辨率算法,提高了对光场子视点全局关系建模的能力.由于光场相机捕捉的图像亮度较低,严重影响了超分辨率图像的质量,提出一个改进的4D零参考深度曲线估计网络(4D Zero-DCE-Net),充分利用光场全部子视点信息来提高光场图像的亮度.为了解决光场图像空间分辨率低的问题,提出一个基于生成对抗网络的光场图像空间超分辨率网络模型.生成器包含三个部分:第一部分是Transformer和4D卷积以并行方式结合的网络结构,能以较浅的网络层捕捉图像的全局和局部细节信息;第二部分是一个交互融合注意力模块IF AM(Interactive Fusion Attention Module),能有效地融合上述两个分支得到的全局自注意力和局部细节信息;第三部分是一个重建模块PS-PA(Pixel Shuffle-Pixel Attention),能提高整个光场的空间分辨率.最后,利用相对判别器来指导生成器的训练.实验结果表明,提出的算法和其他算法相比,峰值信号比(PSNR)至少提升了 1dB.

关键词：光场图像、超分辨率、Transformer、4D卷积

所属期刊栏目：58

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61902151

在线出版日期：2022-07-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：298-308