微软开源自家模型调试工具

微软使用之前所开发的负责任人工智能(Responsible AI,RAI)工具,开发出了最新的Error Analysis工具,让用户可以对模型进行调试,探索其可能出现错误的情况。

微软提到,在现实世界部署机器学习模型,开发团队常会遇到评估模型性能的问题。模型准确性可能在不同的资料子集并不一致,还可能因为特定输入条件,使得模型发生错误的几率更高,这类的错误使得机器学习应用缺乏可靠性和安全性,像是交通信号灯侦测器可能在部分日光条件,或是意外输入下无法运行,因此即便模型整体的准确性可能很高,但是开发团队能掌握模型,会在特定情况发生错误,仍是一件重要的事。

而目前模型评估方法存在一些问题,最明显的是使用汇总指标来对模型进行评分,但是模型的详细情况,很难只用一个数字来表达,因此汇总指标有其限制,另外,输入特征空间也存在多个维度,像是自动驾驶汽车开发团队,便需要关心车辆在黑夜以及雪地中运行的状况,在特殊的条件下,自动导航的能力可能会受到限制。而且随着资料和技术改进,模型在更新和重新部署后,开发团队还必须持续关注和监控模型行为,避免混入新的错误。

为了解决这个问题,微软开发了Error Analysis工具,该工具使用机器学习技术,以有意义的维度切分模型错误,让开发者能够更好地掌握模型的错误模式,使得开发者能够更快速、准确地识别出不准确的子集,进而从根本解决问题。微软现在公开Error Analysis的源码,并且已经成为微软开发人工智能应用,不可缺少的工具之一。

微软在2020年5月的Build大会,发布了三个负责任人工智能工具InterpretML、Fairlearn和SmartNoise,这些工具可以让资料科学家深入理解模型预测,还有评估模型公平性和提高资料隐私,而Error Analysis便是创建在这些工具基础之上,该项目集成负责任人工智能小工具OSS存储库,开发人员除了可以使用Error Analysis分析模型错误,同时也可以利用Fairlearn、InterpretML和SmartNoise来改进机器学习模型。