红外与可见光图像特征动态选择的目标检测网络
目的 基于可见光和红外双模态图像融合的目标检测算法是解决复杂场景下目标检测任务的有效手段.然而现有双光检测算法中的特征融合过程存在两大问题:一是特征融合方式较为简单,逐特征元素相加或者并联操作导致特征融合效果不佳;二是算法结构中仅有特征融合过程,而缺少特征选择过程,导致有用特征无法得到高效利用.为解决上述问题,提出了一种基于动态特征选择的可见光红外图像融合目标检测算法.方法 本文算法包含特征的动态融合层和动态选择层两个创新模块:动态融合层嵌入在骨干网络中,利用Transformer结构,多次对多源的图像特征图进行特征融合,以丰富特征表达;动态选择层嵌入在颈部网络中,利用3种注意力机制对多尺度特征图进行特征增强,以筛选有用特征.结果 本文算法在FLIR、LLVIP(visible-infrared paired dataset for low-light vision)和VEDAI(vehicle detection in aerial imagery)3个公开数据集上开展实验验证,与多种特征融合方式进行平均精度均值(mean average precision,mAP)性能比较,mAP50指标相比于基线模型分别提升了 1.3％、0.6％和3.9％;mAP75指标相比于基线模型分别提升了 4.6％、2.6％和7.5％;mAP指标相比于基线模型分别提升了 3.2％、2.1％和3.1％.同时设计了相关结构的消融实验,验证了所提算法的有效性.结论 提出的基于动态特征选择的可见光红外图像融合目标检测算法,可以有效地融合可见光和红外两种图像模态的特征信息,提升了目标检测的性能.
红外图像、目标检测、注意力机制、特征融合、深度神经网络
29
TP37(计算技术、计算机技术)
2024-09-12（万方平台首次上网日期，不代表论文的发表时间）
共14页
2350-2363
