为解决用户把2D图像转换成3D的需求，绘图芯片大厂英伟达(NVIDIA) 旗下的NVIDIA Research正在开发一款全新的深度学习引擎，可以使用基本的2D图片来创建3D对象模型，并且能够在NVIDIA Omniverse中将剧集《霹雳游侠》里那辆人工智能(AI) 霹雳车KITT这类极为经典的车辆化为现实。
英伟达表示，由位于多伦多的NVIDIA AI Research Lab开发的GANverse3D应用程序，能将平面图片打造成逼真的3D模型，并且可以在虚拟环境中进行可视化的呈现和控制。这项功能可以帮助建筑师、创作者、游戏开发者和设计师轻松地在他们的模型中加入新的对象，无需3D建模方面的专业知识，也不用花费大笔预算进行渲染。
而为了产生训练用的资料集，研究人员利用生成对抗网络(GAN) 来合成从多个视角描绘同一对象的图片，就像摄影师围绕一辆停放的车子走动，并从不同的角度进行拍摄。这些多视角图片被插入一个用于制作反图片的渲染框架中，这便是从2D图片推论出3D网格模型的过程。使用多视角图片进行训练后，GANverse3D只需要一张2D图片便能预测出一个3D网格模型。
另外，此模型可以搭配3D神经网络渲染器，让开发人员可以控制自订对象和背景交换。如果将GANverse3D当作NVIDIA Omniverse平台的扩展项目进行导入，并且在NVIDIA RTX GPU上运行，便能通过GANverse3D把任何2D图片重新打造成3D对象，例如将1980年代热门电影剧集《霹雳游侠》中，那辆深受观众喜爱、协助主角打击犯罪的经典汽车KITT。
英伟达强调，研究人员为了重建霹雳车KITT，将汽车图片丢进训练好的模型，让GANverse3D预测出相应的3D纹理网格，还有车轮和头灯等各种车辆零件。他们接着使用NVIDIA Omniverse Kit和NVIDIA PhysX工具，将预测出的纹理变成高品质的材料，让霹雳车KITT的外观和感受更加真实，并将其置于动态的驾驶串行中。
英伟达进一步强调，不是每个创作者都有足够的时间和资源为他们搭建的每个物体创建3D模型，因为渲染一台展示间里的汽车或街道上的建筑物，所需捕捉的多视角图片成本可能会令人望之却步。这正是经过训练的GANverse3D应用程序可以派上用场的地方，将一辆汽车、一栋建筑物，甚至一匹马的标准图片，变成可以在Omniverse中进行自订及制作动画的3D对象。
所以包括游戏、建筑与设计领域的创作者，使用像NVIDIA Omniverse模拟与协作平台这样的虚拟环境来测试新的想法，并且在打造最终产品前，能以可视化的方式呈现原型。开发人员通过Omniverse Connectors，便能在Omniverse中使用他们喜爱的3D应用程序，以即时光线关注技术来模拟复杂的虚拟世界。而英伟达也预计将在接下来5月的国际学习表征会议(International Conference on Learning Representations; ICLR) 与6月的国际计算机视觉与模式识别会议(Conference on Computer Vision and Pattern Recognition; CVPR) 的两场会议上发布GANverse3D背后的研究成果。
(首图来源:英伟达提供)