红外—可见光跨模态的行人检测综述
可见光图像在光照充足的条件下可以提供一系列辅助检测行人的信息,如颜色和纹理等信息,但在低照度场景下表现并不理想.红外图像虽然不能提供颜色和纹理信息,但红外图像根据热辐射差异成像而不依赖于光照条件这一特性,使其可以在低照度场景下有效区分行人区域与背景区域并提供清晰的行人轮廓信息.由于红外和可见光两种模态之间直观的互补性,同时使用红外和可见光图像的行人检测任务被认为是一个很有前景的研究方向,受到了广泛关注,大幅促进了在安防(如安全监控和自动驾驶)和疫情防控等领域应用的发展.本文对红外—可见光跨模态的行人检测工作进行全面梳理,并对未来方向进行深入思考.首先,该课题具有独特性质.可见光图像对应三通道的颜色信息而红外图像对应单通道的温差信息,如何在两种模态存在本质差异的前提下,充分利用二者的互补性是红外—可见光跨模态行人检测领域的核心挑战和主要任务.其次,近几年红外—可见光跨模态行人检测研究针对的问题可分为两类,即模态差异大和实际应用难.针对模态差异大的问题,可分为图像未对准和融合不充分两类问题.针对实际应用难的问题,又分为标注成本、实时检测和硬件成本3类问题.本文依次对跨模态行人检测的主要研究方向展开细致且全面的描述并进行相应的总结.然后,详细地介绍与跨模态行人检测相关的数据集和评价指标,并以不同的评价指标对相关方法在不同层面上进行比较.最后,对跨模态行人检测领域存在的且尚未解决的问题进行讨论,并提出对未来相关工作方向的一些思考.
跨模态行人检测、可见光图像、红外图像、深度学习、行人检测
28
TP391.4(计算技术、计算机技术)
国家自然科学基金;国家自然科学基金;省级大学生创新创业训练计划项目;湖北省资助项目;湖北省资助项目;四川大学视觉合成图形图像技术国家级重点实验室开放课题项目
2023-05-19（万方平台首次上网日期，不代表论文的发表时间）
共21页
1287-1307
