面向跨模态行人重识别的双向动态交互网络

摘要：

为了解决当前跨模态行人重识别算法因采用权值共享的卷积核而造成模型针对不同输入动态调整能力差,以及现有方法因仅使用高层粗分辨率的语义特征而造成信息丢失的问题,提出一种双向动态交互网络的跨模态行人重识别方法.首先通过双流网络分别提取不同模态各个残差块后的全局特征;然后根据不同模态的全局内容动态地生成定制化卷积核,提取模态特有信息,并将其作为模态互补信息在模态间进行双向传递以缓解模态异质性;最后对各层不同分辨率的特征进行相关性建模,联合学习跨层的多分辨率特征以获取更具有判别性和鲁棒性的特征表示.在SYSU-MM01和RegDB跨模态行人重识别数据集上的实验结果表明,所提方法在第一命中率(R1)分别高于当前最好方法4.70％和2.12％;在平均检索精度(mAP)上分别高于当前最好方法4.30％和2.67％,验证了该方法的有效性.

关键词：行人重识别、跨模态、动态卷积、跨层多分辨率、卷积神经网络

所属期刊栏目：35

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;安徽省高校协调创新项目;安徽省高校协调创新项目;安徽省重点研究与开发计划项目;安徽省高等学校省级自然科学研究项目

在线出版日期：2023-05-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：371-382