树上的苹果也可以成为iPod?一张图告诉你AI其实很好骗!

AI看到的物体不一定是正确的?人工智能研究组织“OpenAI”研究人员近日发现,手写的“字卡”、“符号”会影响AI判别物体,覆盖掉AI本来识别正确的物体,产生误差,让一颗真正的苹果也能成为3C用品“iPod”!

(Source:OpenAI,以下同)

根据外媒《THE VERGE》报道,“OpenAI”用一颗青苹果做测试,识别准确率达85.6%,不过粘贴手写的字卡后,AI却仅侦测到字卡上的内容,并将覆盖本来的识别到的物体。

研究人员将青苹果粘贴写上“iPod”的字卡,识别正确率竟高达99.7%,另外,研究人员也用电锯测试,在电锯的图片上放上“ $”符号,最终系统将他们识别为“小猪存钱罐(扑满)”但准确率70.1%不及原本图片的91.1%,这种研究结果也被研究人员取名为“印刷攻击”(typographic attacks),此类攻击可以使软件的视觉系统欺骗,得出完全不同的结果。

研究人员举例,电动汽车特斯拉(Tesla)的自动驾驶AI若被道路上某些被篡改的标志欺骗,进而做出错误的驾驶行为,“这种攻击对于从医学到军事的各种AI应用都是严重的威胁,且只需要贴个标签就完成了”。

不过,目前这套“CLIP”系统还属于实验阶段,没有应用在任何的产品中,因此不会被广泛使用造成风险,由于OpenAI对“CLIP”这套实验系统采取放任的策略,在没有严格管控、过滤的状况下搜集网高达4亿张图文,作为辨别物品内容的基础,虽然可能会像人类一样将这些知识内化,但无法清楚分别“青苹果” 、“写着iPod纸条”的差别,研究人员认为这是一种“抽象化谬误”(fallacy of abstraction)。