Google发布模型透明度Model Card工具集,简化生成模型透明度报告

Google发布了可简化机器学习开发者,创建机器学习模型透明度信息模型卡(Model Cards)任务的工具集,Model Card已经被Google用于跨平台人工智能工作管线框架MediaPipe中,现在Google发布完整的Model Card工具集,助社群成员方便创建模型卡。

机器学习技术已经被大量地用于医疗保健和金融等各个领域,当人们越来越依赖机器学习模型做出决定,则模型的透明度就越来越重要,让用户得以了解模型计算出结果的依据,Google提到,下游用户需要的信息各有不同,这些信息可用来确认模型是否适用于特定案例。

模型卡是Google开发来观察模型透明度的工具,模型卡提供模型来源、使用方法和道德规范相关评估信息的结构性框架,并且还会提供模型使用限制建议。Google将模型卡用在MediaPipe中,MediaPipe提供了许多用来解决常见计算机视觉任务的模型,而在GitHub存储库除了模型,同时也提供了模型卡,让模型用户能够更了解模型。

不过,创建这样的模型卡需要大量的时间与人力资源,通常需要对资料和模型性能,进行详细的评估和分析,在许多情况下,还需要另外评估模型在不同资料子集上的性能,并注意模型表现不佳的部分,而且模型卡的创建者,可能还希望能够提供模型的预期用途和局限,以及用户可能需要考量的道德因素等各种信息。

而为了简化机器学习开发者创建模型卡的复杂度,Google发布了模型卡工具集,这是一系列可以支持开发者,将信息编译到模型卡的工具,为不同受众创建有用的接口,为了说明模型卡工具集使用方法,Google还发布了Colab教程,帮助用户上手。

Google在模型卡工具集提供了JSON架构,该架构定义了要包括在模型卡中的字段,并且提供了ModelCard资料API,可用来表示JSON架构的实例,并将其可视化成模型卡,用户最终可以决定模型卡要显示的指标和图形。

模型卡除了显示关键指标和图形之外,还能补充其他信息,像是模型预期用途与限制等,Google提到,在模型卡详细说明模型的限制,像是表现不佳的资料段等,这些信息可以帮助开发人员,将模型应用在适合的使用案例上。

目前Google提供了一个UI模板来可视化模型卡,而用户也能利用HTML创建不同的模板。现在使用TensorFlow Extended(TFX)的用户,能够使用模型卡工具集,而不使用TFX提供机器学习模型服务的用户,仍可以利用JSON架构,以及HTML模板可视化方法。