让换脸无所遁形！南洋理工发布全球首个DeepFake篡改序列检测还原数据集｜ECCV 2022(3)

由此，我们可以从此空间关系中发掘出Seq-DeepFake的 空间篡改痕迹 （ spatial manipulation traces ） 。

再者，改变篡改先后顺序，如下图（a）中鼻子和眼睛导致不同的注视方向，和(b)中留海和微笑的先后顺序会产生不同的刘海数量，这说明篡改顺序会进一步影响篡改所影响的 空间关系 。

就是说，我们可以在空间篡改痕迹的基础上捕捉到序列 篡改痕迹（ sequential manipulation traces ） ，并最终据此检测出 DeepFake 篡改序列。

根据上述观察，可以把Seq-DeepFake看成是一种特殊的 image-to-sequence problem（例如image caption） ，文中提出了 Seq-DeepFake Transformer （SeqFakeFormer）来检测篡改序列 。

Seq-DeepFake Transformer (SeqFakeFormer)

SeqFakeFormer由两个关键部分组成：Spatial Relation Extraction 和 Sequential Relation Modeling with Spatially Enhanced Cross-attention。

在 Spatial Relation Extraction 中，首先把人脸图片输入到一个卷积神经网络中得到DeepFake篡改的空间特征，并通过 Transformer Encoder中的 self-attention modules捕捉其空间关系得到 空间篡改痕迹 。

在 Sequential Relation Modeling with Spatially Enhanced Cross-attention 中， Transformer Decoder进一步通过空间篡改痕迹与篡改序列标签之间的cross-attention得到 序列篡改痕迹 。