多模态视觉跟踪方法综述

摘要：

目标跟踪是计算机视觉研究中的前沿和热点问题,在安全监控、无人驾驶等领域中有着重要的应用价值.然而,目前基于可见光数据的视觉跟踪方法,在光照变化、恶劣天气下因数据质量受限难以实现鲁棒跟踪.因此,一些研究者提出了多模态视觉跟踪任务,通过引入其他模态数据,包括红外模态、深度模态、事件模态以及文本模态,在一定程度上弥补了可见光模态在恶劣天气、遮挡、快速运动和外观歧义等条件下的不足.多模态视觉跟踪旨在挖掘可见光和其他模态数据的互补优势,在视频中实现鲁棒的目标定位,对全天时全天候感知有着重要的价值和意义,受到越来越多的研究和关注.由于主流的多模态视觉跟踪方法针对可见光—红外跟踪展开,因此,本文以阐述可见光—红外跟踪方法为主,从信息融合的角度将现有方法划分为结合式融合和判别式融合,分别进行了详细介绍和分析,并对不同类方法的优缺点进行了分析和比较.然后,本文对其他多模态视觉跟踪任务的研究工作进行了介绍,并对不同多模态视觉跟踪任务的优缺点进行了分析和比较.最后,本文对多模态视觉跟踪方法进行了总结并对未来发展进行展望.

关键词：信息融合、视觉跟踪、多模态、结合式融合、判别式融合

所属期刊栏目：28

分类号：TP389.1(计算技术、计算机技术)

资助基金：国家自然科学基金;模式识别国家重点实验室开放课题

在线出版日期：2023-02-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共20页

页码：37-56