基于CNN-Transformer双流网络的伪脸检测

摘要：

生成对抗网络(generative adversarial networks,GANs)技术正逐步成为合成图像的主流方法,合成的人脸图像对社会稳定和国家安全具有潜在的风险隐患,因此识别GAN生成的人脸已成为一个重要问题.为解决卷积神经网络(convolutional neural networks,CNN)在训练过程中无法获取图像全局表示的问题,提出了 一种CNN-Transformer双流网络检测框架,在最大限度提取局部特征的同时,进一步保留图像的全局信息.首先,在CNN分支流中引入空间注意力和通道注意力,关注图像关键信息并提取局部特征;其次,利用Transformer分支流提取图像的全局信息;最后,中间利用桥接双分支的MixBlock交互模块分别将两者提取的局部特征和全局信息融合在一起.实验结果表明:与现有两种方法相比,本文所提方法在公共伪脸数据集上的分类检测精度分别提升了 5.42％和1.95％,并且在后处理的图像上表现出一定的鲁棒性.

关键词：生成对抗网络、注意力机制、卷积神经网络、Transformer、伪造人脸

所属期刊栏目：23

分类号：TP399(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;国家自然科学基金;广西自然科学基金项目;广西自然科学基金项目;国家重点研发计划;桂林理工大学启动基金;桂林理工大学启动基金

在线出版日期：2023-09-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：8288-8295