基于Transformer的图文跨模态检索算法

摘要：

随着互联网多媒体数据的不断增长,文本图像检索已成为研究热点.在图文检索中,通常使用相互注意力机制,通过将图像和文本特征进行交互,来实现较好的图文匹配结果.但是,这种方法不能获取单独的图像特征和文本特征,在大规模检索后期需要对图像文本特征进行交互,消耗了大量的时间,无法做到快速检索匹配.然而基于Transformer的跨模态图像文本特征学习取得了良好的效果,受到了越来越多的关注.文中设计了 一种新颖的基于Transformer的文本图像检索网络结构(HAS-Net),该结构主要有以下几点改进:1)设计了一种分层Transformer编码结构,以更好地利用底层的语法信息和高层的语义信息;2)改进了传统的全局特征聚合方式,利用自注意力机制设计了一种新的特征聚合方式;3)通过共享Transformer编码层,使图片特征和文本特征映射到公共的特征编码空间.在MS-COCO数据集和Flickr30k数据集上进行实验,结果表明跨模态检索性能均得到提升,在同类算法中处于领先地位,证明了所设计的网络结构的有效性.

关键词：Transformer、跨模态检索、特征分层提取、特征聚合、特征共享

所属期刊栏目：50

分类号：TP399(计算技术、计算机技术)

资助基金：深圳市科技计划项目JSGG20220301090405009

在线出版日期：2023-04-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：141-148