小惊喜!黄仁勋再创AI分身Toy Jensen,逗趣献唱圣诞金曲

英伟达(NVIDIA)首席执行官黄仁勋先前惊喜现身WirForce 2022开幕夜现场,随后乱入网络歌手的直播,现在黄仁勋又带给大家一个“圣诞小惊喜”,通过AI技术打造虚拟分身“Toy Jensen”,为大家献唱圣诞歌曲。

黄仁勋先前在信义区不小心乱入网络歌手李欣庭( Isteen )和李以乐(Lah)的直播,随后黄仁勋点播《捍卫战士:独行侠》(Top Gun: Maverick)、由Lady Gaga唱的主题曲《hold my hand》,但当时她们还不太拿手,所以没在直播中唱出来,她们之后也在自己的YouTube频道上重新录制这首歌。

对此,黄仁勋也通过自家AI技术献唱《Jingle Bells》,让大家相当惊喜。

英伟达指出,虚拟分身Toy Jensen通过英伟达的Omniverse Avatar Cloud Engine(ACE)打造,Omniverse ACE结合云计算原生AI微服务与工作流程,开发者可以轻松创建、自订和部署相当吸引人的互动虚拟替身。

英伟达表示,目前开发虚拟替身需要专业知识、专业设备,并花上许多人工流程,而Omniverse ACE不同,它创建在Omniverse平台和英伟达Unified Compute Framework(UCF)之上,可用最简单的程序代码快速创建和设置AI渠道。

此外,英伟达团队使用最近开发的语音转换模型,从样本中取出专业歌手的声音,并将其转换为Toy Jensen的声音,而这项技术最开始需要耗费数小时,通过实际录音训练而成。随后团队使用样本中的音符,套用作Toy Jensen的数字声音,让他唱出与原唱一样的音符和节奏。

同时,团队再利用NVIDIA Omniverse ACE、Audio2Face和Audio2Gesture等技术,加上Toy Jensen的声音,让整段表演的面部表情和身体动作变得相当逼真。

英伟达称,虽然Omniverse ACE技术背后的团队花了数年时间,开发视频中所展示的技术,但通过Omniverse ACE这一服务,只需要几个小时就可以生成一个精美的视频。

(首图来源:NVIDIA)