近年来，人工智能技术迅速发展，已广泛融入生活，带来诸多积极变革．但与此同时，少数不法分子利用该技术生成并传播深度伪造的虚假媒体内容，给个人隐私、新闻真实性、社会稳定与国家安全带来严重的威胁和挑战．深度伪造一词译自英文“Deepfake”，即“Deep Learning与“Fake”两个单词的组合，指利用深度学习进行深度伪造虚假媒体内容的技术．该词源于2017年一位名为“Deepfakes”的用户在其Reddit主页上发布利用某名人面孔深度伪造的色情视频[1]，这一事件引发巨大连锁反应，并导致该技术被迅速传播和滥用．2022年俄乌冲突期间，网络上出现伪造乌克兰总统泽连斯基宣布放下武器的虚假视频[2]．2024年，香港警方披露首宗多人换脸AI诈骗案，某公司多人视频会议中仅受害者为真人，最终被诈骗2亿港元．同年，世界经济论坛发布的《2024年全球风险报告》中将人工智能生成的错误信息和虚假信息列为“未来两年全球十大风险”之首，担心其会使本就冲突频发的全球形势进一步恶化．为应对深度伪造技术带来的严重影响和挑战，相关政府机构和科技公司纷纷采取措施．我国于2023年分别颁布《互联网信息服务深度合成管理规定》与《生成式人工智能服务管理暂行办法》，要求明确标识伪造内容并获得被编辑者同意，服务提供商须对生成内容负责等．放眼全球，美国和欧盟等国家也对规范深度伪造技术进行了法律尝试．美国已有多个州制定与实施相关法律以限制深度伪造在色情及选举中的应用，但尚无联邦法律．法国于2023年将深度伪造纳入《刑法典》，规定未经本人同意发布深度伪造内容将被处以一年监禁和1.5×104欧元罚款．欧盟于2024年3月通过全球首部人工智能治理综合法案《人工智能法案》，其要求内容提供商保持透明度，对生成内容进行标识并确保可检测性．科技公司也积极推动针对深度伪造内容的检测技术．2020年，AWS，Facebook和微软等机构共同发起Deepfake检测挑战赛DFDC，激励全球研究人员开发新的检测技术．2024年，包括OpenAI，TikTok，X和Meta等20家科技公司在慕尼黑安全会议上签署协议，共同打击干扰选举等AI滥用问题，包括开发识别工具，并在生成图像中添加“非真实内容”标签和电子水印以确保内容可追溯．深度伪造技术的三个关键特点对网络与信息安全产生重大影响，亟需相关检测与应对措施．a．欺骗性强：由于深度伪造采用生成对抗网络(GAN)[3]、自编码器(AE)[4]和扩散模型等深度学习技术，相较于传统的拼接、移除、复制移动等图像伪造技术，难以通过肉眼或简单技术辨别，文献[5]的调查显示，2017年人类还可对AI生成图像进行较好的判断，但到2019年这种能力已显著下降，大众对伪造图像质疑率甚至低于真实图像．深度伪造的高真实感导致大众更容易相信其伪造内容，继而可能产生严重后果．b．伪造成本低：尽管高质量伪造技术在早期需较高技术门槛，但是随着生成技术快速发展，网络上充满相关技术的开源代码，以及FakeApp，Faceswap和ZAO等免费应用程序，大大降低伪造成本，使不法分子可以轻易制造虚假媒体内容[6]．c．检测难度高：深度伪造属于新兴技术正处于快速发展时期，伪造技术与检测方法不断博弈中检测方法常常处于被动地位；同时，现有检测算法多依赖于特定特征或规则，易受到对抗性攻击和误导，具有一定的局限性．因此，本综述旨在全面梳理和分析深度伪造人脸的生成与检测方法，探讨最新相关研究进展．首先，对深度伪造人脸生成技术进行介绍与分类；其次，总结现有深度伪造人脸相关数据集，并根据检测特征对不同检测方法进行分类和分析比较；然后，深入讨论了该领域当前挑战与未来研究方向；最后，对全文进行了总结．1 深度伪造人脸生成深度伪造人脸生成主要利用GAN、自编码器和扩散模型等深度学习技术对人脸进行操纵伪造，根据伪造类型，深度伪造人脸生成可分为人脸完全生成、属性编辑、身份替换和面部重演共四类，各分类与代表技术如图1所示．10.13245/j.hust.250021.F001图1深度伪造人脸生成技术分类1.1　人脸完全生成人脸完全生成是指通过深度伪造技术生成现实世界不存在的人脸图像，可能用于创建虚假的社交账户，发布不实信息，甚至用于网络诈骗等违法活动．人脸完全生成主要利用生成对抗网络GAN，由生成器G和判别器D组成．生成器通过随机向量生成图像，而判别器则负责判断图像的真伪．通过生成器和判别器相互不断博弈更新提升，最终使生成器可以生成判别器难以分辨的逼真人脸图像．自2014年GAN提出以来，生成技术取得了迅速发展．早期的GAN模型生成的图像分辨率较低且含有伪影，文献[7]提出深度卷积生成对抗网络DCGAN，其利用卷积神经网络(CNN)生成更自然的人脸图像．但DCGAN存在训练不平衡的问题，容易导致梯度消失和模式崩塌，难以稳定生成多样化的图像．2017年，文献[8]提出WGAN，使用Wasserstein距离作为生成对抗网络的损失函数，解决了初始GAN训练不稳定的问题，但生成图像的分辨率通常低于256×256，大大限制了应用场景．为此，文献[9]提出渐进式增强生成对抗网络(PGGAN)，通过逐步增加网络层完善图像细节，最终稳定生成1 024×1 024的高分辨率图像．尽管上述方法够生成自然逼真的人脸，但无法指定人脸属性和详细特征．文献[10]提出可对生成人脸的姿态、身份特征、发型、表情等属性进行指定的StyleGAN．该模型通过非线性映射网络将潜在代码转换为“风格”代码，将其作为隐空间向量输入生成器，并在每个卷积层后使用样式代码进行自适应实例归一化，最终生成指定风格的高分辨率人脸图像．随后，文献[11]提出由文本引导的人脸生成技术TediGAN，其通过引入视觉和语言之间的匹配关系使得生成图像能够根据输入文本指定多样化的属性．2020年，文献[12]提出去噪扩散概率模型(DDPM)，也称扩散模型．该模型包括两个主要过程：前向过程在训练阶段向图像添加噪声，模拟墨滴的扩散；反向过程则在图像生成阶段去除噪声，类似于浑水逐渐清晰，恢复到原始状态．整个模型通过核心网络UNet进行训练，从而生成高质量图像．2023年，文献[13]提出协作扩散模型，不同于主要依赖单模态控制的扩散模型，该模型通过文本和掩模共同驱动，并设计动态扩散器来确定每个时间步中单模态模型对噪声预测的贡献．相比TediGAN，协作扩散模型在人脸生成的属性特征完成度上更高．1.2　人脸属性编辑人脸属性编辑是通过深度伪造技术修改输入人脸的面部属性，如年龄、五官特征、发色和表情等．其主要利用GAN反演技术实现，将输入图像反转为潜在代码并进行修改，再送入生成器以生成编辑后的人脸图像．该方法由文献[14]于2016年提出，并应用于ICGAN，首次实现对面部图像单一属性编辑．2018年，文献[15]提出StarGAN，通过联合训练和共享生成器实现同时编辑多种面部属性．但由于对潜在代码的过多约束，ICGAN和StarGAN都存在纹理细节丢失的问题．为解决此问题，文献[16]提出AttGAN，通过属性分类约束保证指定属性的变化而不影响其他特征．文献[17]提出STGAN，利用选择性传输单元提高编辑结果的自然度和准确性．文献[18]提出一种端到端的基于全局感知人脸属性编辑模型(GP-GAN)，其同时具有全局感知能力和局部感知能力，可以更好地编辑全局属性和局部属性．此外，近期的HifaFace方法[19]和文献[20]提出的HFGI方法进一步提高了面部编辑的准确性和丰富细节保留能力，如图2所示．10.13245/j.hust.250021.F002图2人脸属性编辑效果图[20]随着扩散模型的发展，文本生成图像技术将人脸属性编辑带向新的阶段．2023年，文献[21]提出IP-Adapter方法，结合图像和文本提示，实现精确的属性编辑．文献[22]提出PhotoMaker，利用堆叠ID嵌入将多个输入ID图像的编码在语义层面上整合，确保属性编辑前后身份特征的一致性．1.3　人脸身份替换人脸身份替换是指通过深度伪造技术实现源人脸身份替换目标人脸身份，即“换脸”．早期该技术主要通过自编码器实现，源人脸A通过编码器进行编码后，使用目标人脸B的解码器进行解码．2019年，文献[23]提出FSGAN，结合GAN与循环神经网络(RNN)，实现不依赖特定人脸对的换脸技术．2020年，文献[24]提出一种新颖的两阶段换脸框架FaceShifter，通过第一阶段的高度自适应人脸交换和第二阶段的自监督细节优化，实现了高保真的人脸替换．身份替换的核心目标是保持交换后的人脸与源人脸身份一致，同时共享与身份无关的面部信息，如姿势、发型和光线．因此，解耦身份信息与其他面部特征是提高高保真性的关键．2021年，文献[25]提出InfoSwap，引入信息论原理，通过信息瓶颈优化身份解耦，提高图像质量．文献[26]提出MegaFS，实现百万级像素的细致换脸效果，如图3所示．为解决姿势差异带来的伪影问题，2023年，文献[27]提出3D感知的人脸替换3dSwap，将2D人脸投影到3D生成空间后进行替换．文献[28]基于扩散模型提出DiffSwap方法，将人脸身份替换重新定义为由身份特征和面部标志引导的指定条件下图像修复任务，生成更高保真度、可控性和扩展性的人脸替换图像．10.13245/j.hust.250021.F003图3人脸属性编辑效果图[26]1.4　人脸面部重演人脸面部重演是指通过深度伪造技术将源人脸的动作、表情等特征在目标人脸上重现，像操纵木偶一般，如图4所示．与身份替换不同，面部重演仅复制源人脸的动作与行为而不改变其身份．10.13245/j.hust.250021.F004图4人脸面部重演效果图[29]2016年，文献[29]提出Face2Face，通过摄像头捕捉源对象的行为并转移至目标人脸，但需要大量3D面部行为数据．文献[30]提出A2V方法，仅通过音频即可实现目标人脸的演讲重演，该方法利用循环神经网络对目标人物大量演讲视频学习实现．2020年，文献[31]提出ICface，其使用动作单位AU表示面部行为，并通过条件GAN生成目标人脸行为，提升了面部重演质量与可解释性．2023年，文献[32]提出利用扩散模型与自动编码器的语音驱动面部演讲伪造方法DAE-Talker．该方法通过扩散隐式模型生成视频帧，能够合成完整并具有与语音内容一致自然头部运动的视频，并在口型同步、姿势自然度等方面优于现有方法．上述四种伪造类型均会对现实生活产生巨大影响．人脸面部重演技术常被用于伪造政治人物讲话，可能导致社会动荡；人脸身份替换技术多用于非法换脸色情视频，严重侵害当事人肖像权；人脸完全生成技术则被用于创建虚假社交账户，不法分子可利用此类虚假账户发表不当言论、电信诈骗等；人脸属性编辑相比于其他三者危害较小，主要用于娱乐软件中修改年龄或表情等．2 深度伪造人脸检测2.1　真实人脸数据集深度伪造技术依赖大量真实人脸图像来学习特征，近些年代表性真实人脸数据集如表1所示．10.13245/j.hust.250021.T001表1真实人脸数据集数据集年份身份数图像数CASIA-WebFace[33]20141×1045.0×105CelebA[34]20151×1042.0×105VGGFace[35]20152×1032.6×106MegaFace[36]20167×1051.0×106MS-Celeb-1M[37]20161×1051.0×107FFHQ[38]2019—7.0×104WebFace260M[39]20212×1064.2×107注：“—”表示数据为空(下同)．2014年，文献[33]创建首个大规模人脸数据集CASIA-WebFace，其包含1.057 5×104个人物身份的4.944 14×105张人脸图像．2015年，文献[34]创建了目前仍被广泛使用的著名人脸数据集CelebA，其收集了1.017 7×104位名人的2.025 99×105张脸部图像，并标注其性别、年龄等属性．同年，文献[35]创建了VGGFace数据集，其中包含2 622个人物身份的2.6×106张人脸图像，用于训练VGGNet网络．2016年，文献[36]提出大规模人脸数据集MegaFace，该数据集包含从Flickr网站获取的超过6.9×105个人物身份的1×106张人脸图像．同年，微软公司创建了由1×105人物身份构成的人脸图像数据集MS-Celeb-1M[37]，其中每个身份大约有100张面部图像．2019年，NVIDIA公司为人脸图像生成而创建了高分辨率人脸数据集(FFHQ)[38]，包含7×104张分辨率为1 024×1 024的高质量人脸图像，成为当前常用的脸数据集．2021年，文献[39]提出首个包含数百万人物身份的人脸数据集WebFace260M，成为拥有2×106人物身份和4.2×107张图像的全球最大人脸数据集．2.2　深度伪造人脸数据集随着深度伪造技术的发展，众多伪造人脸数据集相继推出，为检测技术提供了丰富的训练数据．代表性的深度伪造数据集归纳与分析如表2所示．10.13245/j.hust.250021.T002表2深度伪造数据集数据集年份图像级伪造类别视频级伪造类别数据集特点真实数据量伪造数据量真实数据量伪造数据量UADFV[40]2018241.00252.0049.049.0早期数据集，数据量较少DF-TIMIT[41]2018——320.0640.0利用GAN技术生成的换脸视频FaceForensics++[42]2019——1.0×1034.0×103多种伪造类型DFDC[43]2020——2.3×1041.0×105Deepfake检测挑战赛数据集Celeb-DF[44]2020——590.05.6×103使用名人谈话真实视频合成WildDeepfake[45]2020——3.0×1033.5×103现实场景下收集筛选的深度伪造视频DeeperForensics[46]2020——5.0×1041.0×104使用多种灯光条件和面部角度ForgeryNet[47]20211.43×1061.45×1069.9×1041.2×105对伪造信息进行详细标签标注FFIW10K[48]2021——1.0×1041.0×104多人脸对象的视频数据集DeepFakeMNIST+[49]2021——1.0×1041.0×104针对10种特定面部动作进行伪造DeePhy[50]2022——100.05.0×103对源数据使用多个伪造技术依次处理DefakeAVMiT[51]2023——540.06.4×103多模态数据集，包含音频数据DiffusionFace[52]20243.00×1046.00×105——首个基于扩散模型的伪造人脸数据集DFFD[53]20205.80×1040.24×1061.0×103300.0包含多种类型人脸的多样性数据集iFakeFaceDB[54]2020—8.70×104——消除了GAN的高频伪造指纹特征OpenForensics[55]2021—0.11×106——多人脸对象的图像伪造数据集2018年，文献[40]提出FakeAPP制作的伪造数据集UADFV．文献[41]提出利用faceswap-GAN技术生成的包含640个换脸视频数据集DF-TIMIT．2019年，文献[42]创建数据集人脸取证++(FF++)，涵盖四种典型深度伪造方法，即深度伪造(DF)、换脸(F2F)、脸部交换(FS)和神经纹理(NT)．2020年，Facebook和微软发布了Deepfake检测挑战赛(DFDC)数据集[43]，包含2.356 4×104个源视频和1.045×105个伪造视频．FaceForensics++和DFDC数据集广泛应用于后续的检测方法研究．文献[44]提出Celeb-DF数据集，该数据集精选590个名人谈话的真实视频，使用改进的DeepFake合成算法生成5 639个伪造视频．文献[45]提出现实世界深度伪造数据集WildDeepfake，包含3 509个从互联网收集的高质量伪造视频．同年，文献[46]提出了迄今为止最大的交换人脸伪造检测数据集，即DeeperForensics-1.0，其采用专业演员录制源视频，通过DF-VAE高质量框架生成1×104个伪造视频．2021年，文献[47]提出具有多任务标签标注的人脸伪造数据集ForgeryNet，包含1.45×106张伪造图像和1.2×105个伪造视频，使用多种伪造方法生成，并对伪造类型和区域进行了详细标注．大多数深度伪造数据集中仅存在一个被伪造者，但真实场景下伪造图像中可能存在多个人物．因此，文献[48]提出FFIW10K数据集，包含1×104个伪造视频，平均每帧含三张人脸．文献[49]提出DeepFakeMNIST+数据集，该数据集包含眨眼、点头和张嘴等10种特定动作的1×104个伪造视频动画．2022年，文献[50]提出一种新颖的深度伪造系统发育数据集DeePhy，即按顺序使用多种生成技术生成伪造视频，按顺序使用FSGAN，FaceSwap和FaceShifter三种技术生成5 040个Deepfake视频．2023年，文献[51]提出了一种多模态数据集DefakeAVMiT，相比于大多数数据集只包含视频而未包含音频数据，该数据集包含6 480个伪造视频及其对应音频，提供了更真实的训练环境．文献[52]提出基于扩散模型的伪造人脸数据集DiffusionFace，涵盖包括无条件和文本、图像引导的面部图像生成等11种扩散模型伪造方法，由3×104张CelebA高分辨率源人脸图像生成的6×105张伪造人脸图像构成．针对图像级伪造，文献[53]创建数据集DFFD，其真实人脸来自FFHQ和CelebA，最终生成包含5.870 3×104张真实图像和2.403 36×105张伪造图像数据集．文献[54]提出iFakeFaceDB数据集，其中包含消除高频伪造指纹特征的8.7×104张生成人脸图像．2021年，文献[55]提出了关注多人脸深度伪造图像数据集OpenForensics，其中共有1.606 7×104个真实人脸，1.736 6×105个伪造人脸，相比于传统单张伪造人脸数据集更具复杂性与多样性．2.3　深度伪造人脸检测常见评价指标在深度伪造人脸检测中，常见的评价指标包括准确率A(ACC)和曲线下面积U(AUC)．两者具有不同的应用场景和侧重点．A为评估模型分类准确性的重要指标，衡量模型在所有样本上正确分类的比例．在深度伪造人脸检测中，A反映了模型对真实人脸和伪造人脸的分类准确性，适用于直观比较不同数据集或参数设置下模型的性能．U则用于评估分类器在二分类问题中的表现，综合考虑真正例率(TPR)和假正例率(FPR)．U能够更全面地反映模型在不同分类阈值下的性能，尤其在样本分布不平衡的情况下，U的实用价值更加显著．2.4　基于生物特征的检测方法由于深度伪造技术本质是对真实人脸的修改伪造，其与真实人脸在生物特征上存在差异，如眨眼频率、面部光线反射和嘴部运动等，因此利用生物特征异常可对深度伪造技术进行检测．基于生物特征的检测方法通过识别伪造人脸缺乏的真实生物特征实现检测，因此具有较高的准确率，其归纳比较结果如表3所示．10.13245/j.hust.250021.T003表3基于生物特征检测方法性能比较研究工作与方法特点检测性能泛化性能数据集AU数据集AUIn Ictu Oculi[40]眨眼频率异常UADFV—0.990———文献[56]角膜光线异常自建库—0.940———DFGaze[57]眼神凝视特征FF++0.9880.999Celeb-DF—0.771LipForensics[58]嘴部运动异常FF++0.9880.997Celeb-DF—0.824Inconsistent Head Poses[59]头部姿势不一致UADFV—0.974———Using Landmark Locations[60]五官位置异常自建库—0.941———DeepRhythm[61]心率波形异常FF++0.980—DFDC-P0.640—针对眼部特征，文献[40]提出了一种结合CNN和RNN的方法，利用眨眼频率异常进行检测，在自建数据集上实现了U为0.99的检测效果．文献[56]认为GAN模型由于缺乏物理/生理约束，会导致图像两眼间角膜镜面高光不一致，利用这一特点设计的检测方法在其自建数据集UADFV测试中U为0.94．但该方法对图像场景要求较高，在一些光源或环境中无法出现相关光斑从而导致判断错误．文献[57]关注眼神凝视特征，发现真实视频往往在短时间内具有更集中的视线分布，而伪造视频则具有更分散的视线分布，提出检测方法DFGaze，在FF++数据集上测试结果U为0.999．针对嘴部特征，文献[58]提出LipForensics方法，利用嘴部不规则运动进行检测．该方法使用初始3D卷积层的ResNet-18网络提取嘴部特征，结合多尺度时间卷积网络(MS-TCN)进行分类，具备良好的泛化性能．针对位置特征，文献[59]通过3D头部姿势估计检测人脸姿势与头部姿势的一致性，将其差异输入支持向量机(SVM)进行分类．文献[60]现深度伪造面部在眼睛大小和位置等方面存在异常，其提取人脸68个关键地标并采用SVM分类，但随着GAN技术的改进，这些明显的特征异常逐渐消失．此外，文献[61]提出通过监控心跳节律来检测深度伪造的方法DeepRhythm，该方法通过远程视觉光电体积描记法(PPG)[62]检测肤色微小周期性变化，伪造人脸将会产生异常波形．该方法在FF++数据集的DF和FS伪造方法子集中A达到1.0，在DFDC-preview[63]数据集跨库测试A为0.64．然而，由于以上这些方法通常针对单一生物特征，导致对不同类型伪造图像的泛化能力较差，随着GAN模型的不断升级，许多明显的低级图像异常被消除，因此未来应关注更深层次的生物特征．2.5　基于身份信息的检测方法由于虚假媒体内容的特殊性，其主要伪造对象为有影响力的人物，使得伪造内容可达到较广的传播范围和舆论效果，因此针对国家领导人、官员、专家学者和社会明星等名人进行特定的基于身份信息的深度伪造检测有较高实用性与现实意义．文献[64]利用开源面部分析工具OpenFace2[65]对名人公开视频的面部和头部运动数据进行提取，转化为190维度特征向量，使用SVM区分真实视频和伪造视频．文献[66]则认为人脸的中心区域为检测重点关注区域，伪造质量高而难以检测，因此提出OuterFace算法对人脸中心区域进行精准掩模，使检测网络能够学习非中心区域的身份特征，从而提高泛化性能．上述两种方法在实际应用中须要输入对应身份的真实视频进行对比，这在大量数据的社交媒体内容检测过滤中难以实现．为此，文献[67]提出了ID-Reveal方法，其结构如图5所示．该方法利用3D可变形模型(3DMM)[68]提取人脸特征，并生成身份不一致但具有相似3DMM特征的样本，将其与真实样本一同送入采用度量学习的分类网络进行判别，仅使用真实视频作为训练样本便可获得具有较好泛化性的判别器，该方法在高压缩视频中的面部重现伪造检测准确度平均提高15%．文献[69]提出了利用伪造图像身份特征不一致性的方法检测身份信息是否被替换．文献[70]则提出Patch&Pair卷积神经网络(PPCNN)架构，将图像切割为小Patch块，根据人脸与背景之间的身份不一致性进行深度伪造检测，在FF数据集上不同压缩程度的图像中，平均U达到0.97．10.13245/j.hust.250021.F005图5ID-Reveal网络结构图[67]由于网络上存在大量名人真实图像与视频，基于身份信息的检测器具有较好的性能和实用性，其分析与性能比较如表4所示．但部分方法由于缺乏相应的训练数据，对大众用户仍存在一定局限性．10.13245/j.hust.250021.T004表4基于身份信息检测方法性能比较研究方法特点检测性能泛化性能数据集AU数据集AU文献[64]利用面部表情和动作异常自建库—0.980———OuterFace[66]关注人脸非中心区域FF++—0.982———ID-Reveal[67]利用3DMM提取特征DFD0.8480.960Celeb-DF0.7160.840文献[69]成对自一致性FF++—0.998DFD—0.991PPCNN[70]成对Patch一致性FF—0.970自建库0.932—2.6　基于图像空间特征的检测方法基于图像空间特征的检测方法通过挖掘图像本身的信息来辨别真实图像与伪造图像之间差异，旨在设计创新的网络结构和特征提取策略以揭示伪造图像中隐藏线索．文献[71]提出MesoNet，其使用卷积网络和Inception网络构建检测器，以较低参数量和计算成本进行检测．文献[72]则通过CNN提取图像特征，并将其送入长短期记忆(LSTM)网络中实现检测．但此类传统方法未对深度伪造技术的细节特征进行挖掘．2.6.1　基于注意力网络的检测方法在深度学习中，注意力机制是一种强大的技术，能够使模型关注输入数据的特定部分．文献[53]利用注意力机制处理待检测图像的特征图，将注意力图插入XceptionNet模型中，提高检测伪造图像的能力．文献[45]则提出利用注意力掩模的ADDNets方法，通过放缩注意力掩模调整特征，在FF++数据集上实现A为0.998．文献[73]认为在现实场景中真实图像和伪造图像之间的差异往往微妙，因此将深度伪造检测视为细粒度分类问题，提出了一种多注意力深度伪造检测网络，如图6所示．该网络结合多个空间注意力头、纹理特征增强块和引导的低级与高级特征聚合，在FF++数据集实现A为0.976，并在Celeb-DF数据集上表现出U为0.674的泛化性能．基于注意力网络的方法提高了检测器提取细微特征的能力，10.13245/j.hust.250021.F006图6多注意力深度伪造检测网络结构图[73]使得检测器具有更高的泛化性能．2.6.2　基于自编码器的检测方法自编码器的特点决定其适用于异常检测，通过学习数据的低维表示，可提取微妙的纹理变化和伪影等特征．文献[74]提出基于迁移学习的残差自编码器(TAR)，可实现少量训练样本的深度伪造检测．文献[75]提出局部感知自编码器(LAE)，通过逐像素掩模强制模型学习伪造区域的内在表示．文献[76]则将深度伪造检测视为单分类异常检测问题提出OC-FakeDect，使用单分类变分自编码器(VAE)，仅在真实人脸图像上训练，以优化重建损失函数实现对伪造图像的检测．在FF++数据集的NeuralTextures子集上，准确率达到97.5%．相比于传统通过拟合的检测方法，自编码器由于能够学习到更多样本内在特征，因此具有较好的泛化性能．2.6.3　基于Vision Transformer方法视觉转换器(ViT)[77]是一种新兴的图像分类模型，具有强大的全局感知和自适应特征学习能力．文献[78]提出了一种基于改进ViT的检测方法，通过将CNN特征与图像Patch块信息结合融合局部和全局特征，利用DeiT知识蒸馏进行深度伪造图像检测．文献[79]提出增量学习的ViT检测器，使用3D人脸重建方法[80]从单个输入图像生成纹理，以更好地对齐人脸与特征信息．文献[81]提出基于ViT的新型无监督不一致感知方法UIA-ViT，仅使用视频级标签，在没有像素级注释的情况下学习不一致感知特征．基于ViT的检测方法虽具有较好的检测性能，但其网络模型结构复杂，对训练数据和计算资源的要求较高，须针对场景进行特定改进与优化，以提高其实用性．2.6.4　基于数据增强的检测方法数据增强作为一种数据多样化处理方法，可显著提高深度伪造检测的泛化性能．文献[82]发现：与以往认为须要根据各个GAN模型独特伪影产生各自检测器不同，CNN模型对各类伪造方法具有通用检测能力，提出通过数据预处理和增强，使得在特定CNN生成器ProGAN上训练的分类器能够泛化到未见过的数据．文献[83]则提出AutoGAN，模拟多种GAN模型的伪影以生成更具代表性的伪造图像，使得检测器能够获得更好的泛化性能．文献[84]通过多个CNN网络的正交训练检测伪造图像，采用五个正交(即不同类型、不同生成方式、不同后处理方式等)数据集分别训练多个CNN-EfficientNet-B4网络，聚合各网络的检测分数以获得最终结果．针对使用数据增强提取伪造特征，文献[85]提出自适应操作痕迹提取网络(AMTEN)，通过稠密网络对图像内容进行抑制，利用自适应卷积层预测图像中的操纵痕迹．文献[86]提出数据增强框架RFM，通过定位和遮面部区域，增强检测器的关注范围，深入挖掘先前被忽视的区域图像特征，提高泛化性能．文献[87]提出利用人脸精确地标位置特征与时间特征的轻量级检测方法LRNet，采用Lucas-Kanade算法跟踪地标和卡尔曼滤波器降噪方法对各帧地标点进行校准优化，提高模型辨别力．文献[88]提出双重对比学习(DCL)检测框架，通过生成不同输入视图，之后提出类间和类内两类损失函数，利用类间和类内对比学习挖掘样本间的关联性，并使用困难样本增强模型泛化性．该方法在DFDC数据集上的泛化性能测试中U为0.967．基于数据增强的方法虽能够通过生成大量数据提高泛化能力，但也可能导致训练数据与真实场景中伪造图像的差异，降低模型在真实场景中的检测性能，因此提高数据增强样本的真实性至关重要．上述四类基于图像空间的检测方法利用图像空间特征进行特征提取并使用机器学习方法实现深度伪造检测，其分类与分析比较如表5所示．10.13245/j.hust.250021.T005表5基于图像空间特征检测方法性能比较研究方法特点检测性能泛化性能数据集AU数据集AU早期方法MesoNet[71]网络结构简单FF++0.984————文献[72]RNN网络自建库0.971————基于注意力网络文献[53]注意力网络DFFD—0.997UADFV—0.842ADDNets[45]利用注意力掩模FF++0.998————文献[73]多注意力网络FF++0.9760.993FF++—0.674基于自编码器TAR[74]基于迁移学习FF++0.998—自建库0.895—LAE[75]逐像素掩模FF++0.968—自建库0.680—OC-FakeDect[76]单分类异常检测DFD0.982————基于VisionTransformer文献[78]知识蒸馏DFDC0.978————文献[79]利用UV纹理FF++0.9950.996———UIA-ViT[81]无监督不一致性FF++—0.993DFDC-P—0.758基于数据增强文献[82]仅针对GAN自建库1.000—自建库0.920—AutoGAN[83]GAN模拟器自建库0.989—自建库0.987—文献[84]正交训练数据自建库—0.999———AMTEN[85]操纵痕迹提取自建库0.985—自建库0.952—RFM[86]基于注意力DFFD—0.999———LRNet[87]改进地标特征FF++—0.999Celeb-DF—0.569DCL[88]双重对比学习FF++—0.993DFDC—0.7672.7　基于图像频域特征的检测方法基于图像频域特征的深度伪造检测方法在应用中具有独特优势．频域特征能够有效捕捉图像局部和全局结构信息，包括边缘和微笑频率变化，从而发现异常和伪造痕迹．此外，频域分析能够突显伪造图像与真实图像在频域特征分布上的差异，使检测模型快速、准确地识别伪造痕迹．文献[89]提出F3-Net检测网络，如图7所示．该网络由两个频率感知分支构成：一个通过频率感知图像分解(FAD)学习微妙的伪造模式，其中D表示离散余弦变换(DCT)操作，∙表示元素乘法；另一个从本地频率统计(LFS)中提取高级语义，描述真实与伪造面孔之间的频率差异，其中Dsw表示应用滑动窗口的离散余弦变换，H表示在每个网格上收集统计数据．这两个分支通过交叉注意力模块(MixBlock)融合，采用Xception网络进行分类，在FF++数据集的HQ子集上实现A为0.986和U为0.993的优异检测性能．10.13245/j.hust.250021.F007图7F3-Net网络结构[89]文献[90]提出使用高通滤波器将输入图像转换为残差图像，并利用CNN进行检测．文献[91]则利用小波变换处理图像的频域信息．显示频率特征的同时保留时域信息，更好地处理非稳定信号．文献[92]则提出一种频率感知判别特征学习框架，设计了单中心损失(SCL)，旨在压缩自然人脸的类内变化并增强类间差异，但该方法缺乏泛化性．文献[93]为提高基于频域检测方法的泛化性能提出FreqNet，利用跨维度的高频特征表示以增强检测器对高频信息的关注，同时结合频域学习模块以学习与训练数据源无关的特征．其在ProGAN，StyleGAN和StyleGAN2数据集上的准确率分别达到98.7%，99.0%和99.5%．文献[94]针对高压缩图像的伪造检测提出高频增强(HiFE)检测方法，通过可学习的自适应高频增强网络丰富压缩内容中的弱高频信息，无须依赖未压缩数据实现有效检测．其在FF+数据集高度压缩低质量版本c40上U为0.793．基于图像频域的检测方法性能比较如表6所示，虽有其独特的优势，但可解释性较差，难以直观反映深度伪造图像的特征．因此须要设计混合图像空间与频域特征的检测方法以克服这一局限性．10.13245/j.hust.250021.T006表6基于图像频域特征检测方法性能比较研究方法特点检测性能泛化性能数据集AU数据集AUF3-Net[89]频率感知FF++0.9860.993———文献[90]高通滤波自建库0.990————文献[91]小波变换FF++0.980—自建库0.817—文献[92]单中心损失FF++—0.916———FreqNet[93]强化高频特征———自建库0.990—HiFE[94]高压缩图像检测OpenForensics0.990————2.8　基于时序特征的检测方法基于时序特征的深度伪造检测方法通过分析视频帧间的动态变化和序列特征检测伪造内容．由于伪造视频为图像逐帧拼接而成，因此分析帧间时序连续性和一致性相比单帧图像分析具有更好检测性能．文献[95]利用时间序列上图像不一致性进行检测，其使用全时间卷积网络(FTCN)提取时序特征，对长时间跨度帧不一致性进行检测．文献[96]提出利用图像Patch块时空特征的检测方法STDT，将面部帧序列裁剪成不重叠的Patch块，并通过时序和Patch块Dropout突出帧间的局部不一致性，在FF++数据集上测试U达到0.998．文献[97]认为现有部分基于时序的检测方法强调对稀疏采样的间隔视频帧进行分析，而忽略了相邻帧之间的局部图像异常，因此提出片段内相邻帧不一致分析模块(Intra-SIM)和跨片段交互模块(InterSIM)，综合分析视频时序特征．其同时提出区域感知时序异常检测方法[98]，通过动态生成时序滤波器捕捉不同伪造区域的时序异常特征．文献[99]认为现有方法使用粗略视图难以获得细节时空信息，提出集成全局不一致视图(GIV)与多时间尺度局部不一致视图(MLIV)的检测方法AMSIM，捕捉更全面的时空特征．此方法在FF++数据集上平均U为0.9725，在DFDC数据集泛化测试中U为76.72．基于时序特征的检测方法较单帧图像检测可捕捉更多伪造特征信息，分析比较如表7所示．但由于处理视频数据和提取时序特征需要大量的计算资源和存储空间，因此此类检测方法对硬件要求较高且训练模型的过程较为复杂且耗时．10.13245/j.hust.250021.T007表7基于时序特征检测方法性能比较研究方法特点检测性能泛化性能数据集AU数据集AU文献[95]时间一致性FF++—0.997DFDC—0.740文献[96]时空DropoutFF++0.7900.720DFDC0.8200.550文献[97]相邻帧与跨片段分析FF++0.990—DFDC—0.680文献[98]区域动态时序滤波器FF++0.990—DFDC—0.690AMSIM[99]多时间尺度FF++0.9880.998DFDC0.7350.7672.9　基于混合特征的检测方法基于混合特征的深度伪造检测方法通过融合不同类型特征，如图像空间特征、频域特征、时序特征等，增强模型的检测能力和泛化性能，从而更准确地识别和定位伪造区域．文献[100]提出一种利用RGB颜色域和频域信息的双分支循环检测方法，一个分支传播原始信息，另一个分支抑制面部内容，同时使用高斯拉普拉斯算子(LoG)放大频域特征．将两个特征图进行融合，以便主干网络学习丰富的表示．文献[101]提出的双流网络的检测方法则重点关注高频特征，提取噪声的高频部分和通过空间注意力模块引导低级RGB特征，最终在跨模态注意力网络中融合特征，平均U接近0.8．文献[102]提出一种渐进增强学习框架，利用RGB颜色和细粒度频率线索进行检测．其首先对图像进行RGB域和频域的细粒度分解，然后使用具有自增强和互增强模块的两分支网络，以捕获和进一步增强特征信息．文献[103]提出多特征检测方法SSTNET，如图8所示．该网络由人脸预处理、空间特征提取、隐写特征提取和时间特征提取四个模块构成，综合检测伪造人脸．输入图像经预处理后，通过双流网络提取空间特征和隐写分析特征，最后结合时间序列RNN网络，检测连续帧的不一致，准确率达到A为0.986．文献[104]提出基于视听觉的自监督学习检测方法，采用教师-学生模型思想，利用真实视频中视觉和听觉的自然对应关系，通过BYOL框架学习时间密集的视频表示，以捕获面部运动和表情等特征．10.13245/j.hust.250021.F008图8SSTNET网络结构图[103]基于混合特征的检测方法充分利用不同特征的互补性，使检测器更全面地捕捉伪造痕迹，提升了对复杂伪造技术的识别能力，分析比较如表8所示．但该类方法同时存在检测模型复杂度高、计算量大的问题．10.13245/j.hust.250021.T008表8基于混合特征检测方法性能比较研究方法特点检测性能泛化性能数据集AU数据集AU文献[100]两分支循环网络FF++0.964—Celeb-DF—0.734文献[101]关注高频特征FF++0.9920.994DFDC—0.797文献[102]渐进式强化学习FF++0.9760.993DFDC—0.633SSTNet[103]多特征检测FF++0.986—DeepFake0.979—RealForensics[104]自监督学习FF++—1.000DFDC—0.7592.10　其他检测方法除上述检测方法外，还有一些其他有效的深度伪造检测方法，其分析与性能比较如表9所示．10.13245/j.hust.250021.T009表9其他检测方法性能比较研究方法特点检测性能泛化性能数据集AU数据集AUiCaRL[105]增量学习自建库0.994—自建库0.692—FakeSpotter[106]利用神经元行为FF++0.9850.985———LTW[107]元权重学习FF++0.8600.930DFDC0.6300.690Capsule-forensics[108]利用胶囊网络FF0.993————Face X-ray[109]预测伪造混合边界FF++—0.992DFDC—0.809SBI[110]自混合图像FF++—0.996DFDC—0.724IFDL[111]分层级检测DFFD—0.995———文献[112]图神经网络FF++0.9930.999DFDC—0.773ID3[113-114]不变风险最小化FF++0.9300.979DFDC0.6400.700RECCE[115]重建学习FF++0.9710.993DFDC—0.691LGrad[116]图像梯度信息自建库0.860————针对创新的检测模型，文献[105]提出增量学习算法iCaRL，以应对未知深度伪造方法出现初期的检测．文献[106]提出一种利用神经元特征进行检测的FakeSpotter方法，利用神经元特征和平均神经元覆盖(MNC)捕获逐层激活行为，并使用二元分类器进行训练．文献[107]则提出LTW方法，基于元权重学习为不同领域人脸图像配置权重，以提高模型的通用性，同时通过元优化校准源域的梯度，学习更多判别特征．文献[108]提出利用胶囊网络Capsule-forensics方法，通过胶囊之间的动态路由表达对象间层次姿态关系，但胶囊网络计算量过大，难以应用于高分辨率图像．针对创新的特征提取思路，文献[109]提出面部X-ray方法，发现大多数伪造方法都会将更改后的面部混合到现有背景图像中，通过机器学习预测输入人脸的操控区域，显示伪造图像的混合边界，在DFDC数据集上实现U为0.809．文献[110]在此基础上提出自混合图像处理方法(SBI)，网络模型如图9所示．其由目标生成器(STG)和掩模生成器(MG)构成，STG使用简单的图像处理从单个原始真实人脸图像生成伪源图像和目标图像对，其中：I表示基础图像；It和Is分别表示经过处理的目标图像与源图像；M表示掩模；⊙表示矩阵元素级相乘操作；Isb表示自融合合成图像．而MG由输入图像的面部标志生成各种混合掩模．通过将源图像和目标图像与掩模混合，最终生成自混合图像SBI．使用SBI图像作为训练数据的EfficientNet-b4分类器在FF++数据集上U为0.996．10.13245/j.hust.250021.F009图9自混合图像SBI合成网络[110]文献[111]提出分层细粒度图像伪造检测方法IDFL，对伪造方法进行分层分类，并利用掩模定位伪造区域．文献[112]认为面部区域形状的不规则性是处理面部图像的主要障碍，因此其对面部图像进行图构建，以考虑面部区域的不同拓扑结构和几何形状，并使用图卷积网络和Transformer架构实现对图特征的提取与检测．文献[113]提出应用不变风险最小化(IRM)理论[114]的方法ID3，通过领域细化数据增强策略和领域校准批量归一化方法解决不变风险最小化问题，从而提高检测泛化性能．另外，文献[115]认为现有方法过于关注特定伪造模式，提出基于重建学习的检测方法，以挖掘真伪图像的本质差异，并引入重建引导注意力模块．文献[116]则使用CNN将图像转换为梯度，以呈现广义伪影用于确定图像的真实性．但主要用于GAN生成的图像，存在一定局限性．在上述内容中，研究者们提出多种不同类型检测方法，包括基于深度学习的方法(如注意力网络、胶囊网络、Vision Transformer等)，以及结合多模态信息、特征融合等技术的检测方法．这些方法在不同数据集上表现良好，为提高检测准确率提供了多样化思路．各类方法分析与比较如表10所示．10.13245/j.hust.250021.T010表10各类检测方法分析比较检测方法类型检测特点检测特征优点缺点基于生物特征个体的生物特征异常眼部、嘴部运动异常、五官坐标异常等可解释性高泛化性差基于身份信息图像各区域身份特征不一致面部中心与背景区域身份信息不一致等实用性高适用范围小基于图像空间特征图像像素级特征异常伪影特征、重构异常、UV纹理、面部位置异常等适用范围广泛化性差基于图像频域特征图像的频域特征，如谱纹等图像频域频率统计与分布异常等泛化性高可解释性差基于时序特征时序视频帧间异常帧间的不一致性与异常等准确率高计算量大基于混合特征综合多种特征，如图像空间、频域特征、音频特征等图像颜色特征、频域特征、音视频时序特征等鲁棒性高计算量大3 挑战与未来研究方向3.1　面临的挑战深度伪造人脸图像生成与检测领域在近年来取得了显著的进展，研究者们通过不断提出创新性方法和技术，致力于解决人脸伪造带来的隐私和安全问题，但仍存在以下挑战．a．深度伪造人脸视频生成质量较差：尽管深度伪造技术近年来取得了显著进步，但是在生成视频的细节和纹理上表现欠佳，细微的面部表情和皮肤纹理细节可能会丢失；同时，大多数人脸生成方法难以保证视频跨帧的一致性，不一致的面部特征和运动会导致视频中的人物看起来不自然，产生闪烁或错位现象，这将大大降低视频真实感和质量．b．深度伪造人脸生成计算资源要求较高：深度伪造人脸生成通常使用复杂模型，如GAN、变分自编码器和扩散模型．这些模型须要大量矩阵运算和参数优化，计算复杂度高，对硬件要求严格，这将限制人脸生成技术的发展与大规模应用．c．现有相关数据集质量较差：由于大多数深度伪造检测方法须使用大量伪造视频进行特征学习，因此相关训练数据集的质量对于检测器的性能起着至关重要的作用．现实场景中伪造者往往仅针对某一特定样本进行深度伪造，具有一定的专业性和针对性．伪造结果将经过多次特定的调整与优化，消除明显的图像异常和伪造伪影．而现有的大多数深度伪造数据集往往采用相关方法批量生成，在图像自然与真实度上与实际场景中的伪造样本有明显差异，这使得以此类训练数据集学习获得的检测器难以在现实场景中实现较好的检测效果．因此须提高相关训练数据集的样本质量，以降低训练场景与实用场景下的样本差异．d．检测方法评价指标的单一与不一致性：现有检测方法主要使用A与U指标进行效果评估，这些指标往往只能提供模型性能的部分视角，而不能全面反映其在实际应用中的表现，特别是在涉及深度伪造视频这样复杂的场景下．因此须要制定出一套综合通用的评价标准，确定针对不同深度伪造类型下标准统一的测试集与环境，在此条件下对检测方法的所需资源、检测准确度、消耗时间、鲁棒性与泛化性等进行综合一致的评价，以此获得更为公正、全面的评估结果．e．现有检测方法的泛化性能较差：由于深度伪造技术众多且处于不断地迭代更新中，因此检测方法需要具有较好的泛化性能才能对多样化和新出现的伪造技术实现有效检测．而现有检测方法仅能够在模型训练所使用的同一伪造技术上实现较好的检测效果，当进行跨数据集测试时检测效果均有明显下降，U指标仅在仅在75%左右，这将导致相关检测方法在实际检测环境中面对不同新型伪造技术时难以应用．f．检测方法的实用性不足：现有检测方法往往采用深度学习的方法，其推理过程需要较多的计算资源，这在人们较多使用的移动设备上难以有效部署和实现检测；同时，现有方法也无法对如视频通话等高实时性场景下的样本实现快速检测．由于深度学习为黑盒模型，这导致检测方法的可解释性较差，无法形成具有说服力的检测判断依据，进一步导致其在真实场景下实用性降低．g．合成人脸数据的不当使用：由于个人隐私保护等相关政策，现有许多人脸识别模型已开始使用可轻易获得的大量完全合成人脸数据进行模型训练，这可能导致某些场景下攻击者可使用伪造人脸数据轻松绕过人脸检测等安防设备，存在巨大的安全漏洞与隐患．3.2　未来研究方向随着相关深度伪造生成方法与数据集的不断发展与更新，深度伪造人脸生成与检测领域仍有许多有待探索和发展的方向．a．提高深度伪造人脸生成的实时性：现有细节丰富的伪造人脸或换脸视频往往经过较长时间的调整与细节优化，难以实现实时的人脸伪造，如何实现实时高逼真度人脸交换与属性编辑是未来研究的重要方向．可能的方法包括轻量级模型设计与算法优化、人脸细节增强技术等．b．提高检测模型泛化能力与面对新型伪造技术的检测能力：如何进一步提高检测模型在不同伪造技术与未知新型伪造技术下的检测能力仍是一个重要研究方向．可能的方法包括：研究更通用的伪造特征以供检测模型使用，使其适用于更广泛的伪造方法；采用如小样本学习、增量学习等方法使现有检测模型通过少量新样本进行学习优化，以模型的不断更新应对伪造技术迭代．c．扩散模型生成人脸图像检测研究：近两年基于扩散模型的图像生成技术大量涌现，如Midjourney，Dall-e2，Imagen和Stable Diffusion等．已出现针对扩散模型生成图像的相关研究，但多为复杂的自然场景图像，尚未有专针对扩散模型生成人脸的检测方法成熟研究．因其与GAN生成技术原理不同，原有伪造人脸检测方法难以实现有效检测，故须研究扩散模型伪造人脸特定检测方法．d．主动防御与溯源技术研究：检测方法仅仅是被动防御的手段，面对快速发展的深度伪造技术，应采用主动防御技术与对伪造图像的溯源取证．通过对相关媒体内容添加对抗扰动，使伪造者无法使用该样本生成理想的伪造图像．同时可考虑使用数字水印、区块链等认证技术，确保重点媒体内容传播过程的真实性与可追溯性．e．细粒度深度伪造检测技术研究：现有大部分检测方法仅将深度伪造图像检测视为简单的单人脸图像二分类检测任务，对于深度伪造视频则随机采样视频帧图像用于检测，其在面对多人脸图像或视频中部分画面操纵伪造时往往失效．未来研究应对其进行更细粒度的检测分类，包括对媒体内容的图像、视频和音频进行多模态伪造检测，并根据不同模态的特征属性进行伪造类型、伪造区域和伪造时段等多任务细粒度检测与分类．f．检测技术实用性研究：未来应根据现实中深度伪造内容出现的不同场景，针对性地设计并实现检测技术．可能的方向包括：针对AI换脸视频通话电信诈骗的移动设备实时深度伪造检测方法研究，针对伪造换脸色情内容的社交网站大规模深度伪造检测过滤方法研究，针对多个媒体内容提供商的综合深度伪造检测接口平台设计，等等．g．相关法律与政策规范：检测技术终究是一种方法手段，为消除深度伪造技术的危害性利用，须要相关政府部门与机构进一步制定与优化相关法律与规范要求，明确社交媒体内容的责任人，加强监管力度，确保深度伪造技术不被用于恶意目的．与此同时加强深度伪造技术的科普教育与宣传，提高大众对深度伪造技术的了解和辨识能力，帮助公众识别虚假信息，降低受骗风险．4 结语深度伪造人脸技术的快速发展使大众对媒体内容的真实性难以分辨，这给信息安全、媒体内容安全乃至国家安全带来了巨大威胁与挑战．针对这一问题，本综述对近年该领域前沿文章进行梳理，对深度伪造人脸的生成方法、相关数据集、检测技术进行了全面归纳分析与比较．通过研究发现：相较于不断迭代更新的伪造方法，现有深度伪造人脸检测方法在泛化性与鲁棒性上有明显不足，未能对不同伪造方法进行通用有效的检测．希望通过未来持续研究努力，开发出通用有效检测方法，为社会提供安全可靠的人脸图像检测和媒体内容验证技术．