基于增强Swin Transformer的深度伪造人脸检测  

Deepfake face detection based on enhanced Swin Transformer

作　　者：李杏清[1] 王志兵[2] 杨恺[3] Li Xingqing;Wang Zhibing;Yang Kai(College of Information Engineering,Guangdong Innovative Technical College,Dongguan 523960,China;School of Electronic Information,Dongguan Polytechnic,Dongguan 523808,China;School of Architecture,Dongguan Polytechnic,Dongguan 523808,China)

机构地区：[1]广东创新科技职业学院信息工程学院,东莞523960 [2]东莞职业技术学院电子信息学院,东莞523808 [3]东莞职业技术学院建筑学院,东莞523808

出　　处：《现代计算机》2024年第14期26-30,58,共6页Modern Computer

基　　金：广东省教育厅2022年度普通高校科研平台特色创新类项目(2022KTSCX385);广东省教育厅2023年度普通高校科研平台特色创新类项目(2023KTSCX356);2022年东莞市社会发展科技面上项目(20221800903482);东莞职业技术学院科研基金资助项目(2022a01)。

摘　　要：针对传统卷积神经网络感受野的大小受限和特征交互学习能力弱,基于卷积神经网络的伪造人脸检测技术提取到的特征相对单一的问题,提出了基于增强Swin Transformer的深度伪造人脸检测方法,引入了局部多头自注意力和全局多头自注意力机制,结合了Swin Transformer的优势,能够有效地捕获图像上下文信息和视频时序关系,具有较强的全局感受野和长距离依赖建模能力。在DFDC数据集的实验结果表明,该方法优于基线方法,具有较好的深度伪造人脸检测能力。Addressing the issues of limited receptive field size and weak feature interaction learning capabilities in traditional convolutional neural networks,resulting in relatively singular feature extraction in conventional convolutional neural network‑based deepfake face detection techniques,a deepfake face detection method based on enhanced Swin Transformer is proposed in this pa‑per.This method introduces local multi‑head self‑attention and global multi‑head self‑attention mechanisms,leveraging the strengths of Swin Transformer to effectively capture image context information and video temporal relationships,with strong global receptive fields and long‑distance dependency modeling capabilities.Experimental results on the DFDC dataset demonstrate that our approach outperforms baseline methods,exhibiting superior deepfake face detection capabilities.

关 键 词：增强Swin Transformer 伪造人脸检测 音视频分解 一致性分析 特征融合 

分 类 号：TP391.41[自动化与计算机技术—计算机应用技术] TP183[自动化与计算机技术—计算机科学与技术]