基于预训练表示学习的端到端跨媒体检索方法

摘要：

跨媒体检索是集成媒体数据表示学习与媒体数据信息对齐的检索方式,现有的跨媒体表示学习方法没有将单一媒体数据表示学习的先进方法集成应用,在跨媒体信息高层表示方面缺乏有效语义对齐.提出一种预训练表示学习的端到端跨媒体检索方法,该方法采用先进的预训练表示学习方法,分别利用残差网络(ResNet)和BERT模型抽取图像和文本高层表示特征,然后利用 自注意力机制挖掘跨媒体数据的语义关联,实现跨媒体信息的语义对齐.以平均精度均值作为评价指标,在3个广泛使用的跨媒体数据集上验证了模型的有效性.实验表明,所提方法在3个数据集上的平均精度均值都优于其他几种对比方法.

关键词：跨媒体检索、表示学习、ResNet、BERT、自注意力

所属期刊栏目：23

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金

在线出版日期：2023-03-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：563-569