上科大新模型如何“召唤”元宇宙里的逼真虚拟宠物？

电影《少年派的奇幻漂流》中，孟加拉虎理查德·帕克栩栩如生的形象不亚于真老虎，带给观众奇妙体验。在元宇宙时代，通过全新的人工智能渲染技术，这样的超逼真虚拟动物未来或将普遍出现在我们身边，与人类实时交互。上海科技大学研究人员最近提出ARTEMIS新型神经网络建模的渲染框架，可同时支持真实的动作动画和高质量的动物毛发渲染，支持可交互式的动作控制，让虚拟宠物同时实现实时、交互、超逼真。该论文已被计算机图形学顶级会议ACM SIGGRAPH 2022接收。

相比上世纪90年代的电子鸡、6年前的AR宠物养成对战类游戏《精灵宝可梦Go》，基于神经网络的动态动物渲染器让虚拟宠物不再局限于卡通化的形象，毛发和动作的实时逼真渲染让互动体验成为可能，未来可应用于游戏和影视领域。阿尔忒弥斯（Artemis）是古希腊神话中的狩猎女神，也是动物保护神。上海科技大学教授虞晶怡对澎湃新闻（www.thepaper.cn）表示，从学术角度，ARTEMIS框架提出了全新的基于神经网络的动态动物渲染器，改变传统渲染方法耗时耗力的困境，在识别、追踪等传统功能之外打开了神经网络在渲染上的大门。“动态毛发物体的传统渲染建模非常困难，但ARTEMIS展示了这些都能够通过神经网络的表达、训练和渲染来实现传统方式很难达到的效果。”虞晶怡表示，目前上海科技大学正在研发GGU（Graphics generation unity）轻量级神经网络芯片，适配今后所有基于神经网络的渲染引擎。

基于神经网络的动态动物渲染器，让虚拟宠物超逼真与实时交互

电影《少年派的奇幻漂流》中，孟加拉虎理查德·帕克带给观众奇妙体验。创建这些电脑生成（Computer-generated Imagery, CGI）的数字化动物往往需要艺术家的大量劳动，包括创建数以万计的逼真毛发、制作自然的动作动画序列。比如，传统CGI动物模型需要艺术家、模型师参考真实动物的照片或视频来创建由数以万计的毛发纤维组成的动物皮毛。这一过程通常要求具备熟练的建模技巧，也耗费人力，《少年派的奇幻漂流》中，光老虎的毛发就有超过15名动画师参与工作。上海科技大学信息学院研究生、论文第一作者罗海旻介绍，即使拥有如此复杂精致的模型，将其渲染成高质量图片依然需要用到非常复杂的渲染方法，才能实现逼真效果。

根据模型精细程度，传统渲染时长不同，完成1帧渲染需要数分钟至数小时。即使有大量计算资源，实时渲染逼真的动物图片依然遥不可及。上海科技大学信息学院研究生王有佳说，比如他们所做的一匹狼的渲染，利用传统渲染方法一帧通常需要四五分钟时间，特效成本昂贵。再者，渲染速度慢意味着无法实时交互。因此，如何交互式操控这些模型并保持高度真实又是新的挑战。传统CGI动物模型并不适合当下虚拟宠物应用中实时逼真渲染、人与动物实时互动的场景。为此，上海科技大学研究人员提出ARTEMIS新型神经网络建模的渲染框架，用以生成同时具备外观和动作合成能力的虚拟宠物，让虚拟宠物同时实现实时、交互、超逼真。

ARTEMIS框架的核心在于提出了一种新的神经网络生成（Neural-generated Imagery, NGI）动物模型来替换传统的CGI模型。与传统离线动画和渲染系统不同，ARTEMIS可同时支持真实的动作动画和高质量的动物毛发渲染，支持可交互式的动作控制。虚拟动物制作最难之处在于毛发和动作的逼真渲染。上海科技大学教授虞晶怡认为，渲染是ARTEMIS框架中“最漂亮的工作”。

事实上，NeRF（Neural Radiance Fields，神经辐射场）突破了计算机图形学对渲染和建模的理解，而NeRF本身有望成为主流的渲染引擎。它可以支持高质量的视图合成，并对每个场景进行优化。比如可以对一个杯子从四面八方拍照，再用神经网络对图片进行压缩和插值，即可在自由的视点里随意观看。“我们做了大量的NeRF工作，但是NeRF有几个问题，一是不支持动态物体，二是不支持毛发渲染。我们就在想，能不能用我们的新技术，把NeRF做到又能动，又能有毛发逼真效果？”虞晶怡表示。

团队创新性地利用卷积神经不透明辐射场（ConvNeRF），支持动态物体和超高清渲染。他们使用卷积神经网络渲染器为模糊毛发目标生成不透明辐射场的新方案，将显式不透明监督和卷积机制结合到NeRF框架中以实现高质量外观渲染，可增强毛发纹理细节，整个渲染流程可导并且支持对动态毛发动物实时的高质量自由视角渲染。