基于相关性的跨模态信息检索研究

摘要：

[目的]梳理基于相关性的跨模态信息检索中的基本策略和核心问题,从提升检索效果的角度探讨偏最小二乘法用于特征子空间投影的优劣.[方法]在Wikipedia跨模态信息检索数据集上,分别采用LDA和BOW模型作为文本和图像资源的特征表达方式,以余弦距离作为相似度度量方法,利用最小二乘法替代典型相关性分析法学习特征子空间投影函数.[结果]从P@K、MAP和NDCG三个检索评价指标上,对比分析典型相关性分析、偏最小二乘回归、偏最小二乘相关三种特征子空间投影法对跨模态信息检索结果的影响,结果表明偏最小二乘相关法具有最佳效果.[局限]偏最小二乘法在处理数据时假设数据之间的关系是线性的,数据基向量之间是正交关系,因而无法解决非线性、非正交问题.[结论]使用偏最小二乘相关法学习的特征子空间投影与原始空间信息的一致性更强,跨模态信息检索结果更稳定.

关键词：跨模态信息检索、偏最小二乘法、子空间投影

分类号：TP393(计算技术、计算机技术)

资助基金：本文系国家自然科学基金面上项目“基于语言模型的通用实体检索建模及框架实现研究”项目编号:71173164的研究成果之一.

在线出版日期：2016-03-09（万方平台首次上网日期，不代表论文的发表时间）

页码：17-23