High-resolution Face Swapping via Latent Semantics Disentanglement
人脸视频交换,从浅层派生结构属性,从深层派生外观属性。结构转移潜在方向,进一步分离结构属性中的身份和姿态信息。将姿态和身份(纹理特征分离)。人脸交换这个领域值得思考。
Introduction
人脸交换的历程最早期是依靠像素,之后是给人脸3D建模,去处理大姿势的问题,但是这种方法受周围环境影响不稳定。在高清人脸方面,身份和attribute无法有效分离。这里利用style gan的渐进性质分离他们。
把工作移植到视频人脸交换。
相关工作
3D模型不能有效处理光照和风格。GAN模型编码编码背景和人脸或者身份和标签。最近也有干超清分辨率的,但是不多。大家最近都在用预训练的stylegan来做很多事情。
方法
Class-Specific Attributes Transfer
把浅层特征和深层特征联合编码。To derive − →n , we note that the face structure can be indicated by the facial landmarks.
Loss 设计
重建误差,landmark误差。
有一个很有趣的东西
FaceForensics++这个数据集值得注意一下。consists of 1,000 original talking videos downloaded from YouTube and manipulated with 5 face swapping methods。
最终效果:
对视频效果并不好,因为视频是低分辨率的。