【Paper Read】【中文】 Generative Neural Articulated Radiance Fields

 project page https://www.computationalimaging.org/publications/gnarf/

Abstract：

最近，使用仅由单视角 2D 照片集合进行无监督学习的 3D GAN 已经取得了很大进展。然而，这些 3D GAN 尚未在人体方面得到证明，而现有框架生成的辐射场不可直接编辑，限制了它们在下游任务中的适用性。我们通过开发一个 3D GAN 框架来解决这些挑战，该框架学习生成人体或面部的辐射场，在一个规范姿态下使用显式变形场将其变形为所需的身体姿势或面部表情。使用我们的框架，我们展示了首个高质量的人体辐射场生成结果。此外，我们还表明，与未使用显式变形的 3D GAN 相比，我们的变形感知训练程序在编辑姿势或面部表情时显着提高了生成的身体或面部的质量。

其实它的方法overview一看就知道是EG3D改出来的，但是图里面的元素都用的一模一样我是没有想到的。应该说唯一的不同就是图里面的红色部分的内容了。不过他们的作者重合度很高也可以理解？

这篇文章我认为还是使用了EG3D提出的triplane表示，这种表示可扩展性很强，因为原本的nerf是在最后的MLP上学习3d点的positional encoding和对应的color和sigma的表示，而triplane则应该是吧color和sigma学到了plane的feature中，最后的MLP仅用来解码出color和sigma。triplane的潜力很大。

但是也有一个问题，他的代码真的很难懂，写的不太常规的样子。

这种表示相对来说更加高效，把3d的转换为3个2d的，而且包含了（可能）更多的特征信息