NeRF:火爆科研圈的三维重建技术大揭秘(4)

图片来自：源自Block -NeR F

（2）针对训练的图片数量： 原始版NeRF需要100张左右的图片进行训练，而PixelNeRF、IBRNet、MVSNeRF等工作只需要几张图像就可以进行高质量重建。

↓

图片来自：源自 PixelNerf

（3）针对训练和渲染的速度： 原始版NeRF需要数十小时训练一个小场景，而Plenoxels、instant-ngp等工作极大地加速了训练进程，instant ngp甚至只需要5s就可以训练一个场景。原始版NeRF渲染图像的速率只有0.06fps，而最近的FastNeRF、SqueezeNeRF等工作可以以200fps的速度进行渲染。

图片来自：instant NGP

（4）针对特定场景的NeRF的改进 ：除了上述说到的，比如针对镜面反射、针对人脸、针对动态人体领域，也有大量的改进工作。

图片来自：instant DNerf

最重要的是用在哪！

关于NeRF的应用，我们很自然想到就是自动驾驶。上面这个视频是Nvidia在今年3月份的开发者大会上展示的Nvidia自动驾驶的Demo。用NeRF进行重建可以做到虚拟和现实的实时融合。

下面的视频展示了NeRF可以模拟一些复杂的道路情况，例如对道路进行雨雪加湿等，实际上是给自动驾驶提供一个很好的模拟数据。

此外，像BlockNeRF等工作可以 重建城市级别的逼真场景 ，也可以对场景进行不同条件下的光照渲染。可以用NeRF技术来构建整个城市的三维模型，作为元宇宙的数字地图，也可以作为游戏地图。