基于粒度感知和语义聚合的图像-文本检索网络

摘要：

图像-文本检索是视觉-语言领域中的基本任务,其目的在于挖掘不同模态样本之间的关系,即通过一种模态样本来检索具有近似语义的另一种模态样本.然而,现有方法大多高度依赖于将图像特定区域和句中单词进行相似语义关联,低估了视觉多粒度信息的重要性,导致了错误匹配以及语义模糊嵌入等问题.通常,图片包含了目标级、动作级、关系级以及场景级的粗、细粒度信息,而这些信息无显式多粒度标签,难以与模糊的文本表达直接一一对应.为了解决此问题,提出了一个粒度感知和语义聚合(Granularity-Aware and Semantic Aggregation,GASA)网络,用于获得多粒度视觉特征并缩小文本和视觉之间的语义鸿沟.具体来说,粒度感知的特征选择模块挖掘视觉多粒度信息,并在自适应门控融合机制和金字塔空洞卷积结构的引导下进行了多尺度融合.语义聚合模块在一个共享空间中对来自视觉和文本的多粒度信息进行聚类,以获得局部表征.模型在两个基准数据集上进行了实验,在MSCOCO 1k上R@1优于最先进的技术2％以上,在Flickr30K上R@Sum优于之前最先进的技术4.1％.

关键词：图文匹配、跨模态检索、特征提取、语义聚类、多粒度信息提取

所属期刊栏目：49

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金

在线出版日期：2022-11-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：134-140