Google应用神经网络开发音频编码器,不只压缩音频还能抑制噪音

Google发布最新将人工智能应用在音频解编码器的研究,发布端到端神经解编码器SoundStream,这是一个应用神经网络的音频解编码器,可以提供高音质的音频,并且支持清楚的语音、有杂音和回声的语音,甚至是混杂音乐、语音和环境音的音频,Google提到,SoundStream是第一个可以处理语音和音乐的神经网络解编码器,可以在智能手机上即时执行。

音频解编码器用于有效率地压缩音频,以减少存储和网络带宽需求,而理想的情况,音频解编码器的存在,应该要让用户无感,包括无法发现解码后的音频,与原始音频间存在差异,而且解编码的过程,也不能产生可发现的延迟。

市面上以及Google的各种影音服务,大量使用了音频解编码器,像是Opus和增强型语音服务(Enhanced Voice Services,EVS)。Opus是一种多功能语音和音频解编码器,支持从6 kbps到510 kbps的比特率,已经被Google用于视频会议平台Meet,还有流媒体服务YouTube等应用程序中。而EVS则是3GPP标准化机构所开发,是针对移动电话所开发的解编码器,和Opus相同,是能够处理多种比特率的多功能解编码器。

这两种解编码器虽然可以在中低比特率中表现出色,但是在极低比特率,像是小于等于3 kbps的情况,音质就会急转直下,Google提到,过去人类利用专业知识,以及增加压缩算法的效率,来优化音频的处理,但最近研究人员开始使用机器学习来代替人工设计,以资料驱动的方法学习解编码音频。

Google发布最新的端到端神经解编码器SoundStream,其主要技术便是使用神经网络,由编码器、解码器和量化器组合而成,所有这些都经过端到端训练。编码器会将输入的音频,流媒体为编码信号,接着使用量化器对其进行压缩,并且使用解码器将信号转换回音频。

研究人员提到,SoundStream使用了神经音频合成领域中,目前最先进的解决方案,通过训练判别器(Discriminator),计算对抗性和重建损失函数的组合,让重建的音频听起来就像是未压缩的原始音频,进而提供高品质音频输出。

经过训练后,解码器和编码器可以分别在单独的客户端运行,以提高网络传输高品质音频的效率。SoundStream处理音频的效率非常好,特别是在低比特率的情况,研究人员解释,SoundStream使用3 kbps比特率所提供的音频品质,超过使用12 kbps比特率的Opus,以及9.6 kbps的EVS,比特率是这些解编码器的三分之一到四分之一,这代表SoundStream可以使用更小的带宽,提供类似的音频品质。

在先前,Google发布了基于回归网络的Lyra音频解编码器,而与SoundStream比起来,SoundStream仍然优于Lyra当前的版本,研究人员也提到,在传统音频处理工作管线中,压缩和增强使用不同模块进行,但这样的方法会增加系统延迟。而Google采取不同的策略,将压缩和增强功能综合在同一个模型中,能够同时进行压缩和背景降噪,但又不增加延迟。

Google表示,SoundStream是将机器学习技术,应用在音频解编码器中重要的一步,比目前最先进的解编码器Opus和EVS效果更好,而且只需要部署一个可扩展的模型。SoundStream会与下一版本的Lyra一起发布,借由集成SoundStream与Lyra,开发人员可以利用现有的Lyra API和工具,来提供更好的音质。

发表评论