联合线性判别和图正则的任务导向型跨模态检索

摘要：

针对现有的基于公共子空间的跨模态检索方法对不同检索任务的差异性、检索模态的语义一致性考虑不足的问题,提出一种联合线性判别和图正则的任务导向型跨模态检索方法.该方法在一个联合学习框架中为不同的检索任务构建不同的映射机制,将不同模态的数据映射到公共子空间中以进行相似性度量;学习过程中结合相关性分析和单模态语义回归,保留成对数据间的相关性以及增强查询模态样本的语义准确性,同时利用线性判别分析保证检索模态样本的语义一致性;还为不同模态的数据构建局部近邻图以保留结构信息,从而提升跨模态检索的性能.在Wikipedia和Pascal Sentence这2个跨模态数据集上的实验结果表明,该方法在不同检索任务上的平均mAP值比12种现有方法分别提升了1.0％～16.0％和1.2％～14.0％.

关键词：跨模态检索、线性判别分析、图正则化、任务导向

所属期刊栏目：33

分类号：TP391.41(计算技术、计算机技术)

在线出版日期：2021-01-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：106-115