虚实交互零时差,Yahoo TV结合5G打造XR次世代娱乐

随着5G时代到来,新形态的XR次世代虚拟娱乐内容正加速发展。Yahoo TV今年7月携手合作伙伴进驻经济部5G“数字科技创新应用场景”,针对LIVE异地同台、异地互游、异地反馈、虚拟网红等多项技术应用进行实证,并于今(20)日分享实验成果。

高速率低延迟,Live即时呈现异地应用

过去因受限于带宽和硬件限制,虚拟展演要做到Live即时是一大挑战,播放画质和交互体验也较难突破。Yahoo TV看好5G应用发展,持续推动XR次世代内容转型,日前经由经济部工业局认证评选通过,携手Digi+ 数字经济产业推动办公室、资策会、科码新媒体和新月映像等合作伙伴,于5G实证场景深化新形态内容生产机制和技术应用,打造更具沉浸式的即时娱乐交互体验。

借由5G高传输速率与低延迟特性、结合AR技术,Yahoo TV在5G场景展示Live异地同台、异地互游、异地反馈、虚拟网红等内容与技术,而且全程现场Live即时演出,加深观众实境临场感、增强双方交互体验。

首先是Live异地同台。现场两位表演者分别位于两个不同地点,通过5G即时进行“类同台”演出,让歌手与乐手跨时空同台,画面无接缝感也更逼真,将真实表演者放在虚拟空间,还可做出各种有趣的特效和运镜。Yahoo TV总制作耿暄提到,异地同台还有很多细节需要处理,像是如果两地光影不同,“同台”时会使画面接合有违和感、不够逼真,还有交互之间的延迟也必须细腻到感觉不出差异。

再来是异地互游和异地反馈,在虚拟世界中结合AR、加入多种交互元素,让远程观众通过5G手机即时跟表演者玩交互游戏,例如猜拳。或许看起来像是没什么难度的小游戏,但重点是猜拳属于分秒必争的交互游戏,一有延迟就无法公平进行,这也是为什么会需要高传输速率和低延迟的5G技术支持。

另外,观众还能零时差将烟火、花束、荧光棒、金币等3D交互对象投射到画面中,表演者也会对观众反馈有所回应,通过即时交互、应援,更增趣味。

虚拟网红技术方面也持续升级。Yahoo TV虚拟网红制作人许朝钦表示,在5G实证场景中运用的是好莱坞等级光学动态捕捉系统,在36平方米大小的场地里共架设24台光学摄影机,可视空间大小及同台表演人数增减,能精准定位演出角色与道具。另外,虚拟网红也跟真人集成,搭配虚拟摄影机的自由运镜和即时成像,让表演者即时化身数字分身,使演出更生动有趣。

体验更主动,沉浸式娱乐交互体验成趋势

Yahoo TV在5G场景里所实验的技术与应用,并非只是概念性质。Yahoo TV XR内容制作人陈建名以LIVE异地同台应用说明,目前主要朝异地演唱会跟发布会两方向进行,尤其今年很多活动受到疫情影响,运用相关技术就有机会异地举办,例如产品代言人无法亲临现场,但能以异地同台方式现身发布活动,或是举办演唱会、进行访谈,若再加上AR叠加技术还能扩展更多虚拟应用。

从文本、语音、影音一路发展至今,耿暄认为5G时代的内容应用将朝全沉浸式发展,体验也会越来越直接,而这样的趋势已不可逆。Yahoo TV在5G架构下打造新形态内容,跨越虚实界线、加速推动XR次世代内容转型,以更细腻、逼真的内容打造沉浸式体验,在交互上更直接也更有临场感。

她也表示,沉浸式娱乐交互体验将成为5G应用新蓝海,Yahoo TV会持续串联各方伙伴打团体战,朝信息娱乐、跨界合作以及虚拟网红三大面向发展,打造XR内容新视界。在跨界合作上,Yahoo TV期望与更多创业公司科技产业共打5G团体战,集成彼此资源打造更多令人惊艳的作品;2021年也将推出更多XR内容,持续布局抢攻5G内容商机。

(左起)Yahoo TV虚拟网红制作人许朝钦、Yahoo TV总制作耿暄、Yahoo TV XR内容制作人陈建名

(首图、图片来源:《科技新报》摄)