语义风格一致的任意图像风格迁移

摘要：

图像风格迁移的 目标是通过将目标图像风格迁移到给定的内容图像来合成输出图像.目前已有大量关于图像风格迁移的工作,但这些方法的风格化结果忽略了内容图像不同语义区域的流形分布,同时,大多数方法使用全局统计数据(如Gram矩阵或协方差矩阵)来实现风格特征到内容特征的匹配,不可避免地存在内容丢失、风格泄漏和伪影的问题,从而产生不一致的风格化结果.针对以上问题,提出了一个基于自注意力机制的渐进式流形特征映射模块(MFMM-AM),用于协调一致地匹配相关内容和风格流形之间的特征;然后通过在图像特征空间中应用精确直方图匹配(EHM)来实现风格和内容特征图的高阶分布匹配,减少了图像信息的丢失;最后,引入了两个对比性损失,利用大规模风格数据集的外部信息来学习人类感知的风格信息,使风格化图像的色彩分布和纹理图案更加合理.实验结果表明,与现有典型的任意图像风格迁移方法相比,所提网络极大地弥合了人类创作的艺术品和人工智能创作的艺术品之间的鸿沟,可以生成视觉上更加和谐和令人满意的艺术图像.

关键词：图像风格迁移、流形分布、自注意力机制、特征映射、高阶分布匹配

所属期刊栏目：50

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金62066046

在线出版日期：2023-07-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：129-136