融合注意力机制的多模态动漫风格迁移方法

摘要：

由于没有与图像的内容结构相匹配,目前的一些方法在针对具有复杂语义信息和显著性特征的图像的动漫风格迁移时,生成图像存在风格色彩不丰富、伪影、部分内容细节信息丢失等现象,提出一种融合注意力机制的多模态动漫风格迁移方法MastGAN-CBAM,将动漫图像特征聚类成若干子特征分量,并利用GraphCut算法使得这些特征分量和各局部内容图像特征相匹配,再利用Gram矩阵计算这些特征的风格损失,从而构造了一种多模态风格损失函数,由于这种风格损失适应了图像的多模态特征,因此能更有效地对网络参数进行优化和调整,此外方法还引入了混合域注意力机制,提高了模型的效率和准确性,进一步提升了动漫风格迁移效果.实验结果表明,该方法的生成图像细节更完整,动漫风格更显著,且减少了伪影,动漫化效果有一定程度的提高,在《千与千寻》等三组动漫数据集实验中FID评价指标分别达到了164.89、162.02、199.37,在视频动漫风格迁移中也取得了较好的效果.

关键词：深度学习、动漫风格迁移、生成对抗网络、多模态匹配、注意力机制

所属期刊栏目：59

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金;湖北省水电工程智能视觉监测开放基金项目

在线出版日期：2023-08-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：223-234