随便涂一涂就变成真实风景,AI绘图软件NVIDIA Canvas背后技术有多厉害?

随手画了座池塘加上周围几棵树,画面里就自动冒出几块岩石,还有生动的倒影浮现水面上。随意点击几下就能换张背景素材,把雪景改成草地,整幅画就从冬日仙境转换成热带雨林。

这就是NVIDIA最新推出的AI绘图工具:Canvas,它背后的AI技术能将歪歪扭扭的手绘涂鸦,转眼间变成一幅栩栩如生的风景图画。更令人惊奇的是,Canvas所做的不仅是从现有素材提取,再剪剪贴贴拼凑出画面,而是像真人画家那样,从头开始创造、搭建出全新世界。

NVIDIA Canvas这款软件则升级了过去AI在绘图软件中的辅助,专攻最初始的创作阶段,从绘图稿开始协助创作者萌生想法艺术灵感,只要简单几笔线条,就能勾勒出极为写实的丰富画面──丰富到直接把它收进艺廊展览也不奇怪。

NVIDIA Canvas背后关键GauGAN技术由台湾人领导研发!

而支持NVIDIA Canvas背后的图片处理技术是该公司在2019年3月发布的AI图片生成系统“GauGAN”,来自台湾的首席研究科学家刘洺堉(Ming-Yu Liu),更是当时研发一举成功的主力功臣。

To编按:GauGAN第一次亮相,是在2019年的GTC大会,当时这套技术是由NVIDIA Deep Imagination Research团队中的刘洺堉主导开发,它通过AI机器学习,和视觉融合等协助,让用户潦草几笔的涂鸭,转换成“拟真风景画”,不但操作简单,效果也相当自然。刘洺堉团队曾发布过许多研究成果,但都没有最新发布的GauGAN来的受欢迎,团队对于社群的热烈反应也感到相当意外。

GauGAN的命名,除了向法国印象派画家高更(Paul Gauguin)致敬,也是因为采用了GAN神经网络(Generative Adversarial Network)这种深度学习技术。

在神经网络的协助下,GauGAN用户只需要加上几笔线条,就能生成一幅美妙的落日山景;点几下,就能把绘画草图转换成以假换真的风景美照,简直就像是AI时代的超级小画家!

GauGAN是AI界的小画家:一种颜色,代表不同的自然元素

在GauGAN里,每一种颜色都代表了不同类型的自然元素,例如山丘、水流、草地、断垣残壁等等。另外,这套技术采多模态原理运行(multimodal),倘若有两位用户输入一模一样的草图,GauGAN也会随机产生不同参数,创造出相异的绘图成果。

每当搭建者添加了某种颜色,这份草图就会被传递给在“创造者AI”与“探测者AI”之间,扮演协调沟通角色的GAN,两端之间通过不断交换信息、相互博弈来进行机器学习,并以最初输入的草图为基础,最终共同创造出一幅写实图像。

GAN这种互相对抗交换信息的运行形态,也有人把它称之为“生成对抗网络”(Adversarial Network)。

GauGAN技术再进化,NVIDIA Canvas让人人都是艺术家

虽然搭载AI技术的绘图软件早在几年前就已经出现,它们通过以智能识别功能和视觉素材数据库,帮助填补画面上的不足。

但是这回发布的NVIDIA Canvas可说是GauGAN技术再进化,在流畅度、对象细腻度与画面质感上都有了长足进步,一般Windows计算机搭配中高端的RTX显卡,就能顺利跑动Canvas。

Canvas绘图工具在使用上相当直观,用户先从简单的形状、线条开始打草稿,一旁则有许多草地、云朵等真实素材可供运用,通过GauGAN的涂鸦系统,明确将不同颜色对应到不同的“自然元素”,

接着AI模型便会即时展示出优异的绘图成果──草草带过几笔,你也能画出绵延山脊和绿油油的田地。

除了可以当业余兴趣之外,这套工具还主打即时性,Canvas对专业创作者与设计师更是一大福利。例如它内置9种风格模式,能够描摹出真实绘画的外观和笔触;还有15类写实素材,从天空、山陵、河流到石头都有。

Canvas也提供图层功能,让画面中各种组件互不干扰;还有默认好的场景可供选择或定制化修改,脑筋一片空白时不妨善用它来激发灵感。

举例来说,想象一位交稿期限在即的广告艺术总监,他必须设计好适当场景,把所有光环聚焦于客户的产品,而镜头里只差一片好风景。此时用Canvas工具,点击几下,这名艺术总监就可以拿到不只一张所急需的风景画,再通过软件进行必要的后期编辑,他很快就能顺利交差。

不用画完,NIVIDIA Canvas就可以即时生成拟真风景照

TO编按:更厉害的是,NVIDIA Canvas可以即时呈现绘画结果,不用完整画完、反复涂改导出,实在是节省不少创作者的时间。

我们都知道艺术创作拥有无限的可能性,而NIVIDIA Canvas所做的,就是帮助创作者克服最困难的起步阶段,能无拘无束地萌生想法点子,并即时验证和查看。

目前NVIDIA Canvas附属于NVIDIA Studio这个创作平台,它提供多样软硬件工具,帮助图像与图片工作者尽情挥洒艺术想法。

也难怪一位设计师爱用者会如此感叹:“Canvas让我于面对空白画布之际,再也不会感到不知所措。”

参考资料

《TechCrunch》、《NVIDIA》