近年来，深度天生模型的飞速发展催生了Deepfake、人脸领悟等一系列成熟的人脸深度假造技能。
随着Zao等娱乐运用的推出，人脸假造技能的本钱快速降落并得到迅速推广。
人脸假造技能潜在的滥用隐患和相应的检测技能引发了社会各界的广泛谈论。
逼真的假造图像，使人们很难仅凭RGB图像判断真伪。

先分解，再探求

一些干系研究利用图像频域剖析技能，创造假造过程中的上采样会导致图像频谱中某些部分被特定的重复模式所替代；同时，他们认为现有的假造算法只关注图像的像素级重修而很难兼顾对付人脸图像各组成身分的合理重修。
因此，研究职员提出，在对假造图像进行某种办法的分解之后，所得到的解构成分中应包含更多有助于假造检测的线索，并基于此提出利用频域旗子暗记分解的方法找到包含假造线索最多的频段以检测人脸假造图像。
然而，由于拍摄器材、拍摄环境、压缩算法、存储办法等的不同，不同数据之间存在巨大的分布偏差，很难事先指定好包含最多假造痕迹的频段。

为办理该难题，中国科学院自动化研究所朱翔昱副研究员和雷震研究员等人提出了基于三维解构的人脸假造检测方法，通过对人脸图像进行图形学分解，找到包含最多假造线索的图形学分量，提升了模型对多种假造办法的鲁棒性。

那么，他们究竟是如何找出“假造人脸”的呢？

三维解构人脸图像，哪里有最多的假造线索？

基于图像解构的假造检测核心在于如何精确地分解图像以及如何选择得当的解构成分。

根据打算机图形学对人脸成像的干系研究，我们将一张人脸图像视为其对应的三维人脸构造、纹理和光照环境交互的产物，通过三维可变模型和打算机图形学的渲染技能仿照一张人脸图像的天生过程，并将人脸解构为5个组成部分（见图1）：

3D人脸构造（3D geometry）

共有纹理（common texture），指人类群体共有的纹理模式。

个性纹理（identity texture），指某一人脸的特定纹理模式。

环境光照（ambient light）

直射光照（direct light）。

图1 基于打算机图形学将人脸图像解构为5部分

通过不雅观察目前主流的人脸假造数据，假造数据中很少存在不合理的人脸拓扑构造和奇异肤色，因此可以认为目前的假造方法能够有效重修人脸的3D构造、共有纹理和环境光照，这些分量在假造检测时可以不再考虑。

然而，考虑到不同人脸之间明显而繁芜的个性纹理差异，现有假造方法很难实现对这一身分的完美重修。
同时，很多在强直射光环境下的假造图像中也存在明显的假造痕迹（图2）。
因此，个性纹理分量和直射光分量蕴含丰富的假造线索，是假造检测的两个主要身分。

图2 强直射光场景下的真实图像（上）和假造图像（下）

机器认可的人脸细节包括哪些？

基于这些假设，研究职员设计了一系列实验来研究和验证对5种人脸身分的合理选择。

1）是否包含三维人脸构造；

2）同时考虑环境光照、直射光照、共有纹理和个性纹理；

3）只考虑环境光照和共有纹理；

4）只考虑直射光照和个性纹理；

5）只考虑个性纹理。

通过这一系列剥离实验，确定个性纹理和直射光照的组合更适宜用于人脸假造检测，并将这一组合称为人脸细节（facial detail）。

在深度学习模型设计方面，基于多模态学习的思想，团队提出一种双流网络Forgery-Detection-with-Facial-Detail Net（FD2Net），对人脸图像和人脸细节两种模态中隐含的假造痕迹同时进行挖掘，并引入监督式把稳力模型辅导检测网络关注人脸细节中的假造痕迹。
与其他干系事情中的把稳力模型不同的是，团队采取人脸细节上的差异作为演习把稳力模型的监督旗子暗记。

该方法在人脸假造检测数据库Faceforensics++（FF++）、The DeepFake Detection dataset（DFD）和Deepfake detection challenge dataset (DFDC)上均取得较好的结果。
比较现有方法，本方法在跨数据集和跨假造方法的泛化性能上也有明显提升。

体验环节：你能分辨出下面的人脸比拟图片中哪张是真的，哪张是假造的吗？

参考文献：

Zhu X, Wang H, Fei H, et al. Face Forgery Detection by 3D Decomposition[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.

来源：中国科学院自动化研究所