Nvidia新AI模型可用一张照片,将物体快速转换成3D模型

Nvidia开发了一种新的深度学习引擎GANverse3D,可以将标准的2D图像,转换成3D物体模型,并且作为虚拟协作模拟平台Nvidia Omniverse的扩展组件使用,将3D模型渲染成光影逼真的样子。

Nvidia人工智能实验室所开发的GANverse3D应用程序,能将平面的图像转成逼真的3D模型,并在虚拟环境进行可视化与操作控制,官方提到,这项功能可以让建筑师、创作者、游戏开发者和设计师,在不需具备3D建模的专业知识下,简单地将对象加到3D场景中。像是使用单张汽车照片,就可以创建出3D模型,该模型可以在虚拟场景中行驶,并且配备逼真的前灯、尾灯和方向灯等配备。

在开发GANverse3D的过程,由于缺乏训练资料,于是研究人员便将生成对抗网络(GAN)转变成为高性能的资料产生器,用来生成同一物体,但是由不同方向观看的图片,这些图片就像是摄影师绕着车辆,从不同角度拍摄的一样。

这些多重视角的图片,被插入到反转图像(Inverse Graphics)用的渲染框架中,在经过这些图片训练后,GANverse3D只需要单张2D图像就可快速创建出3D模型,这些模型可以被用于3D神经渲染器上,供开发人员控制自定义对象和变换背景。

Nvidia研究人员Jun Gao提到,因为这些训练资料都是真实的图像,而不是依赖典型的资料合成方法,让人工智能模型可以更广泛地在真实世界中应用。