Facebook开发AI翻译模型支持过百语言、打算开放程序代码

Facebook的动态消息自动翻译功能,每天为全球用户翻译约200亿条内容,无论贴文是用什么语言发出,Facebook基本上都能够翻译,只是翻译结果可能会词不达意或出现谬误。原因之一是自动翻译功能以英语作为中介,例如法语内容先要翻译成英语,再翻译成我们常用的中文。

以英语作为中介是因为英语的翻译资料集非常庞大,不过也因为经过了中介,翻译误差的机会因此增加。翻译的准确性降低之余,整个翻译过程也变得复杂繁琐。Facebook AI开发新的机器翻译模型,希望能够解决上述问题。要创建翻译数据数据库,以往是要找同时懂得两种语言的人,但这种做法相当困难,同时也难以扩张规模。

Facebook AI开发的机器翻译模型,能够在不使用英语的情况下,直接进行双语双向翻译,而翻译结果将会基于BLEU指标,一个为了评估机器翻译而开发的指标,表现将会较利用英语作为中介的模型更佳。Facebook这个做法要克服的问题不少,例如使用人数较少的语言,是否能够收集到足够的文本数据,就会影响机器学习的资源量。为此Facebook正在将资料集、模型训练等资料改为开源,而协助这项技术能有更进一步发展。

来源:buzzorange

发表评论