基于跨尺度特征融合自注意力的图像描述方法

摘要：

近年来,基于自注意力机制的编码器-解码器框架已经成为主流的图像描述模型.然而,编码器中的自注意力只建模低尺度特征的视觉关系,忽略了高尺度视觉特征中的一些有效信息,从而影响了生成描述的质量.针对该问题,文中提出了一种基于跨尺度特征融合自注意力的图像描述方法.该方法在进行自注意力运算时,将低尺度和高尺度的视觉特征进行跨尺度融合,从视觉角度上提高自注意力关注的范围,增加有效视觉信息,减少噪声,从而学习到更准确的视觉语义关系.在M S CO-CO数据集上的实验结果表明,所提方法能够更精确地捕获跨尺度视觉特征间的关系,生成更准确的描述.特别地,该方法是一种通用的方法,通过与其他基于自注意力的图像描述方法相结合,能进一步提高模型性能.

关键词：图像描述、自注意力、跨尺度特征融合

所属期刊栏目：49

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金;北京市教育委员会科学研究计划;北京市教育委员会科学研究计划

在线出版日期：2022-10-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：191-197