Meta开源可以把素描变成动画的AI项目Animated Drawings

Meta的基础AI研究(Fundamental AI Research,FAIR)团队本周发布了新的AI开源项目Animated Drawings,能够将儿童所创作的人物素描变成动画,该项目包含了算法及近18万张具备注解的素描,有望协助创作者与开发者打造相关经验与产品。

为了搜集大量的素描来训练AI模型,FAIR团队在2021年时便创建了Animated Drawings Demo,这是个可通过网页访问的示范服务,让创作者可上传他们的素描,查看与校正模型预测,之后收到基于该素描角色而衍生的动画。

有趣的是,原本该团队的目标只想搜集1万张素描图片,不料该示范服务引起热烈的反响,在短短的几个月内就收到了超过160万张素描,最终全球总计有320万人访问过该站,上传到该服务的素描数量多达670万张。

原因之一可能是Animated Drawings Demo的接口很简单,用户上传素描作品后,可选择要执行动画的角色,确认角色的关节位置,就能创建动画了,不到一分钟就能将原本处于画纸上的静态角色变成活蹦乱跳的动画人物。

此外,Meta也发现用户对Animated Drawings的兴趣超乎想象,他们其实只想搜集来自儿童的素描,却发现用户上传了五花八门的图案,从企业商标、填充玩具、宠物、人偶,到各种想要它们变成动态的内容,且就算该示范服务指定只要人物的素描,但用户上传了鸟、鱼与各种动物,也热情地提供了各式各样的意见,例如想要透明的背景,希望可支持不同的骨架,要有表情,可以多个角色一起互动,以及音效、场景与文本功能等。

面对袭来的大量建议,FAIR决定直接将Animated Drawings开源。Meta表示,未来除了内部项目会导入Animated Drawings之外,也期望通过开源以让全球创作者与开发人员共同创建将素描变成动画的更多样化的体验。

虽然全球用户上传的素描数量多达670万张,但Meta进行了多次的过滤行动,包括仅选择那些同意与研究团队分享的素描,再加上隐私与安全考量,以及剔除不符合该项目要求的图片等等,最后收录在资料集中的素描则接近18万张。