IBM开源可测量模型不确定性的AI工具UQ360

IBM发布了开源工具包UQ360(Uncertainty Quantification 360),供资料科学家使用先进的算法,来量化、评估和改进机器学习不确定性,以提高人工智能系统的安全性。

深度学习人工智能系统,可能在错误的情况,做出过于自信的预测,过去已经有自动驾驶汽车,因为人工智能系统的失误,而导致人员伤亡,不只是自动驾驶车,IBM提到,应用在医疗上的人工智能系统,也可能因为模型以低确定性做出预测,而造成病患死亡。

常见的可解释技术,能够描述人工智能模型的工作原理,让像是预测房价系统模型用户,知道预测误差范围,以估计收益或是损失,而产品经理也可能利用人工智能模型,来预测不同功能的平均表现,以及对于KPI的影响。IBM提到,不确定性量化则能进一步披露模型的局限性和潜在的故障点,因此可以改善更多人与人工智能协作的需求。

不确定性可以让人们知道,是否该信任模型的预测结果,像是护理师可以使用人工智能系统来帮助诊断皮肤病,当人工智能可信度很高,则医护人员便能接受人工智能的决定,反之,当人工智能建议不被采信,就可将病患转诊至皮肤科医生。IBM提到,不确定性是人工智能系统和人类用户间的沟通形式,能够实现最佳的准确性、强健性和公平性。

UQ360是一个开源工具包,提供不确定性量化的评估、测量、改进和沟通。不确定性量化的方法取决于许多因素,包括基础模型、机器学习任务的类型、资料的特征和用户的目标等,IBM提到,部分时候资料科学家所选用的不确定性量化方法,可能无法产生高品质的不确定性评估,因而误导用户,所以在部署人工智能系统之前,必需要评估并且改进不确定性量化品质。

而UQ360可以协助资料科学家解决这个问题,借由使用UQ360工具包,就可以评估、测量、改进和沟通不确定性量化。官方提到,这是目前第一个不确定性量化开源工具包,提供了一套算法来量化模型不确定性,并且助用户评估和改进不确定性量化,以简化模型开发过程。

另外,UQ360也能协助团队高性能的进行沟通,因为UQ360将不确定性量化的沟通方法,集成到了人工智能生命周期中,并且对每种不确定性量划算法提供UQ360 Python组件,开发者可以按照指引,选择适当的沟通形式,进行简明描述或是详细的可视化呈现。

IBM表示,UQ360不仅是Python函数库工具包,而是能够作为人工智能不确定性和局限性的沟通透明平台。IBM创建了交互式体验,来供用户了解生成高品质不确定性量化的方法,同时也提供许多教学内容,展示在人工智能周期中使用不确定性量化的方法。

UQ360采用通用接口设计,适用于不同的不确定性量化功能,期望可以推动社群的负责任人工智能应用加速创新。