面向科技资讯的基于语义对抗和媒体对抗的跨媒体检索方法

摘要：

科技资讯跨媒体检索是跨媒体领域的重要任务之一,面临着多媒体数据间异构鸿沟和语义鸿沟亟待打破的难题.通过跨媒体科技资讯检索,用户能够从多源异构的海量科技资源中获取目标科技资讯.这有助于设计出符合用户需求的应用,包括科技资讯推荐、个性化科技资讯检索等.跨媒体检索研究的核心是学习一个公共子空间,使得不同媒体的数据在该子空间中可以直接相互比较.在子空间学习中,现有方法往往聚焦于建模媒体内数据的判别性和媒体间数据在映射后的不变性,却忽略了媒体间数据在映射前后的语义一致性和语义内的媒体判别性,使得跨媒体检索效果存在局限性.鉴于此,提出一种面向科技资讯的基于语义对抗和媒体对抗的跨媒体检索方法(SMCR),寻找可供映射的有效公共子空间.具体而言,SMCR在建模媒体内语义判别性之外,将媒体间语义一致性损失最小化,以保留映射前后的语义相似性.此外,SMCR构建基础特征映射网络和精炼特征映射网络,联合最小化语义内的媒体判别性损失,有效增强了特征映射网络混淆媒体判别网络的能力.在 2个数据集上的大量实验结果表明,所提出的SMCR方法在跨媒体检索中的表现优于最前沿的方法.

关键词：跨媒体检索、对抗学习、科技资讯、媒体约束、语义一致性

所属期刊栏目：60

分类号：TP391(计算技术、计算机技术)

在线出版日期：2023-11-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：2660-2670