你的侧脸泄露了太多信息，中科院TP-GAN图像生成太逆天了

困难场景。面部特征，包括胡须、眼镜，TP-GAN 都保留了下来。最右边一栏，上面那张图将脸颊恢复了出来，下面那张图则是侧面看不见额头，但 TP-GAN 成功地将额头恢复了出来。

为了忠实地保留一个人脸部最突出的特征，作者在压缩特征空间中除了像素级别的 L1 loss，还使用了一个感知损失（perceptual loss）。

最后，关键一环，将身份保留损失（identity preserving loss）整合进来，实现忠实的正面脸部合成，图像质量得到大幅提升。

TP-GAN 根据不同姿势合成的结果。从左到右：90°、75°、45°、60°、30°和 15°。最后一栏是真实相片。

在不同的光线条件下合成的结果。上面一行是合成结果，下面一行是原始照片。

作者指出，这些图像有可能用于人脸分析的任务。

论文 | 超越脸部旋转：使用整体和局部感知 GAN 生成逼真、保留特征的正面人脸图像

使用单一脸部图像合成逼真的正面脸部视图在人脸识别领域中有着广泛的应用。尽管此前有研究试图从大量面部数据中寻求解决方案，也即数据驱动的深度学习方法，但这个问题仍然具有挑战性，因为它本质上是个不合理的问题（ill-posed）。

本文提出了双通道生成对抗网络（Two-Pathway Generative Adversarial Network，TP-GAN），通过同时感知全局结构和局部细节，合成逼真的正面人脸视图。

除了常用的全局编码器-解码器网络之外，论文还提出了４个定位标记的补丁网络（landmark located patch networks）处理局部纹理。除了全新的架构，我们将这个不合理的问题进行了很好的转化，引入了对抗性损失（adversarial loss）、对称性损失（symmetry loss）和身份保留损失（identity preserving loss）的组合。这一损失的组合能够利用正面脸部的分布和预训练识别深度脸部模型（pre-trained discriminative deep face models），指导身份保留推理从正面脸部视图合成侧面照。不同于以往的深度学习模型主要依靠中间特征用于识别的方法，我们的方法直接利用合成的、保留身份的图像用于下游任务，比如人脸识别和归因估计。实验结果表明，我们的方法不仅在视觉上令人信服，也在多种人脸识别中超越了现有最佳方法。

更多最新行业资讯，欢迎点击《今日大事要闻》！