基于条件生成对抗网络的图像描述生成方法

摘要：

图像描述,即利用电脑自动描述图像的语义内容一直是计算机视觉领域的一项重要研究任务.尽管使用卷积神经网络(convolutional neural networks,CNN)和长短期记忆网络(long short-term memory,LSTM)的组合框架在生成图像描述方面解决了梯度消失和梯度爆炸问题,但是基于LSTM的模型依赖序列化的生成描述,无法在训练时并行处理,且容易在生成描述时遗忘先前的信息.为解决这些问题,提出将条件生成对抗网络(conditional generative ad-versarial network,CGAN)引入到描述生成模型训练中,即采用CNN来生成图像描述.通过对抗训练来生成句子描述,并结合注意力机制提升描述的质量.在MSCOCO数据集上进行测试,实验结果表明,与基于CNN的其他方法相比,文中方法在语义丰富程度指标CIDEr上取得了2％的提升,在准确性指标BLEU上有1％左右的性能提升;同时,其在部分指标,尤其是语义指标上超过了基于LSTM模型的图像描述方法的性能;证明该方法生成的图像描述更接近图像的真实描述,并且语义内容更加丰富.

关键词：图像描述、卷积神经网络、生成对抗网络、注意力机制

所属期刊栏目：32

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金61976192, 61702275, 41775008, U1509207

在线出版日期：2020-07-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：911-918