Nvidia发布AI去背和降噪的影音直播辅助程序

Nvidia发布通用即时直播扩展组件Broadcast,可提供声音降噪、虚拟背景甚至是自动关注摄影机影音处理功能,用户可以结合热门的即时流媒体、语音聊天和视频会议应用程序一起使用。

即时影音直播流媒体应用逐渐热门,Nvidia开始提供额外的GPU功能,辅助直播流媒体的进行,像是在GeForce RTX 20系列,Nvidia更新了编码器NVENC,以提供更好的视频品质,并且因为工作负载从CPU转到了GPU上,也提升了在游戏中的分辨率,另外,Nvidia也与OBS、Discord以及Twitch等流媒体平台合作集成,以提高即时直播的性能。

不过,之前的工作限于提高视频编码的品质,而这些仅是提供高品质影音直播的一部分,另外像是音频、摄影机和房间摆设,也是直播观赏体验的一部分,但由于诸如昂贵的摄影机、麦克风和绿幕等高端工作室设备,并非每个人都负担得起,因此直播主要在这些部分提升品质,也就相对困难。

而Nvidia在GeForce RTX 30系列GPU推出的同时,也发布了Broadcast应用程序,通过人工智能,让直播主可以使用标准摄影机和麦克风,就能够拥有工作室等级设备的效果。Broadcast在声音处理上,拥有强大的降噪能力,能够即时消除狗叫声或是门铃声等噪音,甚至可以消除通话另一方的键盘打字声。

在图片处理上,Broadcast应用程序能够即时处理视频画面,移除人物后面的背景,替换成为游戏画面或是其他背景,也能直接模糊背景以凸显人物。另外,Broadcast应用程序还能放大,并且自动关注用户的头部运动,即便用户左右移动,人工智能技术仍可以让用户的头维持在画面中心,像是由专属摄影师拍摄一样。

Broadcast是通用扩展组件,可以与各种影音应用程序搭配使用,不只可以用于游戏直播上,也能用于Discord与朋友一同通信玩游戏,甚至是在Zoom进行视频会议。支持的硬件包括Nvidia GeForce RTX、TITAN RTX和Quadro RTX GPU,Broadcast会使用专门的张量核心人工智能处理器,在玩家进行游戏的同时,执行人工智能运算。

官方提到,由于收到之前降噪测试软件RTX Voice的大量反馈,他们进一步改善降噪功能,因此Broadcast降噪效果更好,耗费的性能成本更低,而虚拟背景和自动关注摄影机功能目前是以Beta测试版发布。使用较旧GeForce GTX GPU的用户,仍可以使用更新过后的RTX Voice,不过效果会因显卡的性能而异。