基于LDA2Vec和残差网络的跨媒体融合方法研究

摘要：

[目的]在跨媒体融合机制的理论基础上,优化特征提取以解决异构数据间的语义鸿沟问题.[方法]基于LDA2Vec和ResNet V2模型分别对文本和图片两种媒体形式进行特征提取,通过语义关联匹配将异构的文本图片特征信息映射到一致性表达空间中,完成检索.[结果]相比使用LDA和SIFT算法进行特征提取的跨媒体融合实验,本文方法将文本、图片相互检索的MAP值提高到0.454.[局限]跨媒体数据集的训练集数量不够导致特征训练效果有限;仅考虑优化特征提取方法对跨媒体融合实验效果的提升有限.[结论]本文所提方法能够改善跨媒体融合的实验效果,从跨媒体融合过程入手,为跨媒体融合研究提供了新的研究思路.

关键词：跨媒体数据、特征提取、LDA2Vec、残差网络、语义关联

所属期刊栏目：3

分类号：G354(情报学、情报工作)

资助基金：中国工程科技知识中心建设项目“知识组织体系建设”CKCEST-2019-2-2;中国科学技术信息研究所重点工作项目“富媒体数字出版内容组织与知识服务关键技术研发与应用示范”ZD2018-07;中国科学技术信息研究所重点工作项目“富媒体知识组织与知识服务关键技术研究”项目ZD2019-10的研究成果之一

在线出版日期：2019-12-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：78-88