脸书利用用户所上传的公开视频来训练AI模型

脸书于12日发布了Learning from Videos项目,准备利用用户上传到脸书的公开视频,来学习人们在现实生活中的声音、文本与视觉呈现,以用来改善各种应用的核心AI系统,而不是只通过资料集来学习,而该项目的首个实际应用则是Instagram Reels的推荐系统。

脸书表示,比起只从小规模的数据集来学习,可从公开视频中学习的AI将更能分析未经整理、现实世界中的各种视野与声音,特别是这些视频可能涉及每一个国家与数百种语言,使得AI系统不仅能改善精确性,还能适应快速变动的世界,以及理解不同文化与地区之间的细微差别。

此外,该全面且实际的学习,也能协助研究人员摆脱对标签资料的依赖,改善基于AI的产品并创造全新的体验。

迄今脸书已利用自我监督学习框架来理解用户上传至该平台的视频,并改善其计算机视觉及语音识别系统,让语音识别错误减少了20%,现在则直接部署一个相关的AI模型至Instagram Reels的推荐系统。

Instagram Reels是一个类似TikTok的短视频服务,根据脸书的研究,热门的视频通常具备同样的音乐及舞步风格,只是由不同的人所表演或创造,而自我监督模型则可自动学习这些主题,将它们聚集,之后提供给推荐系统。该系统可以根据用户最近观看的视频来推荐其它视频,还能过滤几近重复的视频,与过去推荐系统最大的不同在于:它并没有替每个分类任务提供清楚的训练标签。

Instagram Reels推荐系统也借助了脸书所开发的通用资料转换(Generalized Data Transformations,GDT)技术,用以学习视频中声音与视觉上的关系,也发现在不同视频中有类似的声音对于推荐相关内容上极有帮助。

脸书对AI系统的野心并不只在于单纯的推荐系统,该公司正在发展AR眼镜,期盼该标榜时尚风格且轻便的眼镜能够理解用户所看到的场景,Learning from Videos项目的目的是能够理解视频中每个单独存在的声音、文本与画面,也能理解这些元素之间的关联性。脸书指出,该项目在机器对视频的理解上带来典范式的转移,替打造更聪明的AI系统铺路。