要欺骗AI判读图片很简单,只要写张纸条给他告诉你是谁就行

拥有机器学习能力的AI产品越来越常见,但有时Bug居然会出在人类想不到的地方。

近日,OpenAI的研究人员发现一件不太寻常又带点趣味的事情,那就是用以照片内容识别的图像视觉AI,居然会对人类的手写标签产生误会,将读到的“字符串”直接覆盖掉原本AI所识别正确的“物体”,因此产生了错误的结果。

举例来说,原本AI判定图片所呈现的东西,为一颗新鲜的澳洲青苹果,但若人类在水果表面粘贴了写着“iPod”的纸条,AI最终会告诉你,这东西不是青苹果而是一台iPod。这种明摆着“指鹿为马”的行为,被研究人员定名为“印刷攻击”(typographic attacks)。

OpenAI研究人员指出,“印刷攻击”的成因事实上源于AI强大的视觉识别技术,也就是人工智能读取文本的能力,尤其拥有手写文本的照片,经常成功“欺骗”AI以产出错误的结果。

这种看似有趣的Bug,事实上对依赖视觉识别系统的各种科技,产生了显而易见的高度风险。

比方说,假设特斯拉(Tesla)的自动驾驶AI,读取到了路牌上刻意被人为篡改的错误标签,就有机会成功欺骗AI,因而做出错误的驾驶行为与判断。印刷攻击对于从医学到军事,各种AI应用来说都是相当严重的威胁。

当在链锯照片上压入几个金钱符号,AI就会判断出“扑满”的错误结果。

在OpenAI中出问题的部分,是个被称为CLIP的实验系统,目前尚未在任何商业产品中部署。研究人员指出,导致CLIP遭受印刷攻击的另一项因素,其实来自于AI的训练方法。

研究人员对CLIP采取极度放任的学习策略,在没有严格监督跟过滤的状况下,它在网络上收集了高达4亿张图文,借此成为识别物品内容的基础。因此,CLIP几乎可以辨认“任何东西”,从字符串、草图、卡通化图片到实际照片,都能给出结果并归类成同一项内容,这代表AI也可以像人类一样,将学习到的知识进行内部化。

人类可以清楚明白“青苹果”与“写着iPod纸条”之间的区别,但如CLIP这类的AI,在没有限定条件的状况下却办不到,OpenAI研究人员觉得这就是一种“抽象化谬误”(fallacy of abstraction)。

通过网络上的无限制内容训练AI的结果,也使得CLIP出现了人类也会具备的偏见。在CLIP的神经网络逻辑中,“中东”跟“恐怖主义”互相关联,“黑人”可能会被误认成“大猩猩”,这些都说明了“人工智能”与“人类”之间依然还有着相当大的不同。

来源:The Verge