许多“人工”智能进步也是“人造”!MIT研究员披露当代AI夸大的“进步假象”

AI人工智能某些例子是否不像我们想得那么聪明?某研究生团队发布论文指出,他们深入研究几十种誉为AI研究里程碑的信息检索算法后发现,这些算法并没有宣称的那么具革命性。事实上,这些算法使用的AI通常只是先前创建例程的细微调校。

根据麻省理工学院(MIT)助理研究员(Graduate Student Researcher)Davis Blalock表示,团队检验81种通常认为比早期研究成果更好的神经网络算法之后,表示无法确认真有达到宣称的任何改进。“查看50篇论文后,很明显的,我们甚至看不出有较先进的地方。”Blalock表示。

经过调校的旧AI算法表现可轻松胜过全新AI模型

AI技术过去10年的最大进展归功于如图形处理器、计算机处理单元(CPU)和摄影机等硬件改进,促进复杂搜索计划、脸部识别、摄影、语言翻译和语音识别的等比级数增长,并取得虚拟现实在更精彩视觉效果的突破性进展。当然,算法改进也有帮助。

但麻省理工学院研究团队却表示,至少AI算法某些改进虚假不实。例如,他们发现只要稍加调校长期创建的旧AI算法,旧程序便能高效运行,甚至达到可与备受吹捧的“全新优化”程序并驾齐驱的程度。但在某些情况下,新AI模型的表现甚至还不如旧算法。

一篇刊登在《科学》期刊并评估研究的文章,引用2019年某项对搜索引擎使用信息检索算法进行集成分析(Meta-Analysis)的研究结论,发现“评获的高分实际上是在2009年(比2019年早10年)设置的”。2019年另项研究复制了媒体流媒体服务采用的7种推荐系统。他们还发现,有6种算法的表现甚至比几年前开发且简单的算法还差,至少在早期技术经微调后的结果是如此,这更进一步披露了“进步的假象”。

10年来某些AI领域缺乏重大进展

Blalock指出,用来比较算法优劣的技术本身有不一致性,这使得某算法优于另一种算法的说法准确性有待商榷。根据某位MIT计算机科学家的说法指出,过去10年来,某些AI领域显然缺乏重大进展,这很大程度得归咎于无法适当比较与评估相互竞争的算法。Blalock博士研究生指导教授John Guttag表示:“古有明训,如果无法评量某事,就很难让事情变得更好。”

卡内基梅隆大学(Carnegie Mellon University)计算机科学家Zico Kolter推测,将自己的名字用在新算法命名,远比仅修补并调校已创建的较旧算法会有更大的动机和社会回应。

Kolter专门研究开发抵御黑客所谓对抗攻击(Adversarial Attack)的图片识别模型。这类攻击会采用经巧妙修改过的程序代码回避系统安全防护机制。称为投影梯度下降(Projected Gradient Descent,PGD)的早期方法,通过训练AI系统区分真假范例码来抵御此类攻击。这被认为是可靠的方法,但却被更新、更好的协议取代。不过,Kolter主导的研究员团队发现,只要简单调校旧PGD方法后,有效性与新方法相比几乎没有差别。

“很清楚的是,PGD实际上就是最恰当不过的算法,”Kolter指出:“人们想寻求太过复杂的解决方案,一直都是显而易见的人类通病。”

(首图来源:shutterstock)