基于语义融合和多重相似性学习的跨模态检索

摘要：

针对现有跨模态检索方法不能充分挖掘模态之间的相似性信息的问题,提出一种基于语义融合和多重相似性学习(CFMSL)方法.首先,在特征提取过程中融合不同模态的语义信息,加强不同模态特征间的交互,使得模型能够充分挖掘模态间的关联信息.然后,利用生成器将单模态特征和融合模态特征映射到公共子空间中,通过最大化锚点与正例样本之间的相似性和最小化锚点与负例样本间的相似性得到具有判别性的特征进行模态对齐.最后,基于决策融合方式对相似性列表进行重排序,使得最终排序结果同时考虑单模态特征和融合模态特征,提高检索性能.通过在Pascal Sen-tences、Wikipedia、NUS-WIDE-10K这3个广泛使用的图文数据集上进行实验,实验结果表明CFMSL模型能够有效提高跨模态检索任务的性能.

关键词：跨模态检索、特征融合、相似性学习、重排序、异构鸿沟

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;广东省自然科学基金资助项目

在线出版日期：2022-08-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：50-56