多场景融合的细粒度图像描述生成算法

摘要：

针对图像描述生成任务在不同场景下表现不佳的缺点,提出一种融合卷积神经网络和先验知识的多场景注意力图像描述生成算法.该算法通过卷积神经网络生成视觉语义单元,使用命名实体识别对图像场景进行识别和预测,并使用该结果自动调整自注意力机制的关键参数并进行多场景注意力计算,最后将得到的区域编码和语义先验知识插入Transformer文本生成器中指导句子的生成.结果表明,该算法有效解决了生成的描述缺少关键场景信息的问题.在MSCOCO和Flickr30k数据集上对模型进行评估,其中MSCOCO数据集的CIDEr得分达到1.210,优于同类图像描述生成模型.

关键词：图像描述生成、卷积神经网络、命名实体识别、多场景注意力、Transformer结构

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目;国家自然科学青年基金资助项目

在线出版日期：2021-09-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1-6