近日，耀世智能感知与计算研究中心提出一种新的人脸图像数据生成方法，能够从无到有地生产出20万张在真实世界不存在的人脸虚拟图像。该方法能够有效缓解异质人脸识别中数据采集成本高昂的问题，充分利用少量真实样本进行深度学习。科研人员借助这些生成的逼真虚拟图像，在近红外-可见光、热红外-可见光、素描-照片、侧脸-正脸、身份证-相机照片等一系列具有挑战性的人脸识别应用中都观测到了显著的识别性能提升。目前，该研究成果已被NeurIPS2019大会接收为Spotlight。

　　异质人脸识别在现实生活中有着十分广泛的应用前景，却也面临着众多挑战。例如，近红外传感器对于光照变化具有很好的鲁棒性，即使在黑暗环境下也能清晰成像。因此，主流手机厂商(如苹果、华为、小米等)，均采用近红外人脸识别技术。但是，由于近红外和可见光数据之间巨大的域差异以及配对异质数据的严重不足，异质人脸识别问题仍未彻底解决。  

　　耀世研究人员提出对偶生成模型(Dual Variational Generation, DVG)，通过从噪声中生成大规模的配对虚拟数据作为数据增广，减小异质人脸识别网络中的域差异。为了实现这一目的，研究人员精心设计了一个对偶变分自编码器，如图1的右半部分所示。给定一对具有相同身份的配对异质人脸数据，对偶变分自编码器在隐空间中学习配对异质数据的联合分布。为了保证生成的配对异质数据的身份一致性，研究人员分别在隐空间和像素空间中施加了分布对齐损失和成对身份保持损失。  

　　通过这种方式，生成的配对异质数据在姿态、表情等属性上都具有一定的差异，因此生成的虚拟数据具有丰富的类内多样性。此外，不同于基于条件图像生成的方法,对偶生成模型不再要求生成的数据属于具体的某个类别，只约束生成的配对异质数据之间的身份一致性。 

　　以上实验表明，对偶生成模型可以广泛应用于近红外-可见光、热红外-可见光、素描-照片、侧脸-正脸以及身份证-相机照片等各类异质人脸识别任务。

　　图1. 对偶图像生成方法框架图

　　论文链接： Dual Variational Generation for Low Shot Heterogeneous Face Recognition. Chaoyou Fu, Xiang Wu, Yibo Hu, Huaibo Huang and Ran He.