【ITBEAR科技资讯】5月2日消息,苹果近日推出了一项新的黑科技——FaceLit,这项技术可以利用一张照片生成高质量的3D头像,并且光线真实,可以任意角度调整。与传统的头像合成工具相比,FaceLit仅需要一张照片素材即可生成3D头像,不需要专门选择角度,也不需要额外的表情、发型、眼镜等素材,更易于操作。而且,FaceLit获得了3.5的FID评分,较同类产品高出25%。
据悉,FaceLit的头像合成过程采用了将人物本体与光线分别处理再进行叠加的策略,以解决早期的三维人像合成工具可能产生形变的问题。在EG3D框架的基础上,苹果团队创造了FaceLit的合成模型,通过三平面解码器赋予了二维卷积神经网络生成渲染3D模型所需深度参数的能力,并加入了光照参数l以独立处理光源。反射解码器流程中,FaceLit加入了镜面反射解码器和漫反射解码器以代替三平面解码器,通过对GAN2产生的数据进行再次解码,可以得到镜面反射率ks和漫反射率kd,然后再通过两种反射着色器得到颜色c。FaceLit以与三平面解码器相同的参数(c,w,σ)渲染图像,并进行分辨率优化。
据ITBEAR科技资讯了解,FaceLit在训练过程中无需人工标注,采用了FFHQ、MetFaces和CelebA-HQ数据集。对于不同的数据集,苹果使用了不同的训练方式。训练结果表明,FaceLit在机位、光源和反射高光等方面表现出色,并在FID、KID等指标上优于传统生成方式。在使用FFHQ作为训练集的条件下,FaceLit拥有最低的FID和KID值,相比于英伟达的StyleGAN2,其表现也出色。这项技术的出现引起了不少网友的热议,有人认为FaceLit的出现标志着苹果将进军AR和VR领域,也有人认为苹果在AI领域的深度被低估,未来有着广泛的期待。