基于深度学习的特种车辆跨模态检索方法

摘要：

保证正在执行任务的特种车辆的道路优先通行权,是合理配置城市交通资源、实施和保证应急救援的前提.特种车辆的跨模态识别是实现智慧交通的重要核心技术,尤其是在智能车联网尚未成熟、未来长期存在无人驾驶和有人驾驶混合交通的环境中,实现无人车对正在执行任务的特种车辆进行合理避让显得尤为重要.针对无人驾驶对特种车辆识别的需求,文中构建了跨模态检索与识别网络(Cross-Modal Retrieval and Recognition Net,CMR2 Net),提出了一种基于深度学习的特种车辆跨模态检索和识别方法.CMR2 Net由两个卷积子网络和一个特征融合网络组成,卷积子网络分别用于提取特种车的图像与音频特征,在高层语义空间中利用相似性度量的方法进行特征匹配,以达到跨模态检索和识别的目的.在特种车跨模态数据集上进行的跨模态识别实验表明,所提方法对跨模态检索和识别任务具有较高的识别率,甚至在缺失一种模态的场景下也可准确识别出特种车辆.本研究对于提升"城市大脑"的性能具有重要的理论指导意义,对设计、实现和改善未来智慧交通具有较高的工程应用价值.

关键词：跨模态检索、卷积神经网络、相似性度量、深度学习、小样本

所属期刊栏目：47

分类号：TP391(计算技术、计算机技术)

资助基金：河南省重点研发与推广专项192102210096,182102310724

在线出版日期：2020-12-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：205-209