基于注意力机制和语义相似度的跨模态哈希检索

摘要：

现如今,跨模态哈希检索已被广泛且成功地应用于多媒体相似性搜索应用中.为进一步提高检索性能,针对现有深度哈希检索方法存在的2个主要问题:1)如何度量不同模态的相似度,更精确地表示模态间的相似性;2)如何融合多个模态的特征,得到更丰富的特征表示,避免把多个模态单独处理,未考虑之间的联系造成的信息丢失.因此提出基于注意力机制和语义相似度的跨模态哈希检索方法(ASSH),该模型定义了新的多标签相似度衡量方法,对不同标签的重要程度加以区分,更好地表达不同模态的相似信息.设计注意力机制融合模块,使得其在特征学习过程中融合不同模态的特征,加强不同模态之间的交互,来捕捉不同模态的局部重要信息.本文在MIR-Flickr25k、IAPR TC-12、NUS-WIDE等广泛使用的图文数据集上进行实验,实验结果表明本文方法在各个问题模式下均超过之前的方法,在哈希码长度为16 bit时,与当前最好的检索方法相比平均检索精度(mAP)分别提升了1.1%、0.63%.同时,消融实验也充分证明了本文方法的有效性.

关键词：跨模态检索、注意力机制、语义相似度、哈希检索、特征融合

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金62177015

在线出版日期：2023-09-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：44-53