基于门机制注意力模型的文本生成图像方法

摘要：

针对传统文本生成图像方法存在生成图像局部纹理单一、边缘细节不清晰和不符合输入文本描述等问题,提出一种门机制注意力模型的文本生成图像方法RAGAN.针对传统方法无法生成细粒度图像的问题,使用增加门机制的注意力模型网络筛选出相关的词向量,并与中间隐藏向量相结合形成新的隐藏向量,再通过生成对抗网络的相互博弈让生成器生成纹理更加丰富、目标物体边缘更加清晰的图像,从而提高图像质量;针对生成图像不符合输入文本描述的问题,使用文本重构提取生成图像中蕴含的深层次的语义特征,与输入文本的语义特征进行对比,通过定义重构损失提高语义一致性.相比于基准模型,在CUB数据集上的Inception Score与R-precision分别提高了9.17％和8.3％,在COCO数据集上的Inception Score与R-precision分别提高了13.67％和5.56％,证明了该模型在保持语义一致性的同时,有效提高了生成图像的真实性和艺术性.

关键词：注意力机制、卷积神经网络、生成对抗网络、深度学习

所属期刊栏目：59

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金U2033218

在线出版日期：2023-06-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：208-216