基于特征分离的红外与可见光图像融合算法

摘要：

在同一场景下被捕获的一对红外与可见光图像虽然具有不同的模态,但是具有共享的公有信息和互补的私有信息,学习并融合上述信息可以得到一幅完整的融合图像.受益于残差网络的启发,在训练学习阶段,通过网络分支间特征层面的互换和相加,强制每一个分支映射到一幅具有全局特征的标签图上,来鼓励各个分支学习对应模态图像的私有特征.直接学习得到图像的私有特征可以避免设计复杂的融合规则并保证特征细节信息的完整.在融合预测阶段,采用最大值融合策略融合私有特征,并在解码层与学习得到的公有特征相叠加,最后解码出集成了红外和可见光图像信息的融合图像.使用在NYU-D2上合成的多聚焦图像数据集训练该模型,在TNO真实的红外和可见光数据集上进行测试,实验结果表明,与当前主流的红外与可见光融合算法相比,所提算法在主观效果和客观评价指标上都取得了较好的成绩.

关键词：残差学习、特征提取、私有特征、公有特征、图像融合

所属期刊栏目：49

分类号：TP301.6(计算技术、计算机技术)

资助基金：国家自然科学基金;江苏省六大人才高峰项目

在线出版日期：2022-05-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：58-63