机器学习平台MLflow 1.12开始集成PyTorch

资料分析公司Databricks发布最新机器学习平台MLflow 1.12,这个版本除了提供可解释性机器学习功能之外,也强化了深度学习函数库PyTorch的支持。由Apache Spark技术团队所创立的Databricks,在2018年的时候开源了MLflow,通过提供各种好用的功能,简化机器学习开发,并且支持可重复使用的标准格式,让用户的机器学习应用不被工具和环境绑住。

PyTorch工程团队和Databricks的MLflow团队,共同在PyTorch开发人员日,发布最新的合作成果,现在MLflow与PyTorch集成,提供PyTorch模型自动日志记录、支持TorchScript模型,以及可将PyTorch模型部署到TorchServe等3个功能。

MLflow 1.12所提供的统一自动日志记录功能,可以自动记录来自PyTorch Lightning模型的参数以及指标,在新加入的mlflow.autolog方法,只要用户执行单一调用,该方法就会自动记录所有相关的模型实体,包括参数、指标和构件等,让用户掌握模型的运行。

MLflow现在也可以将PyTorch模型转换为TorchScript,TorchScript是一种由PyTorch程序代码创建的可串行化和可优化的模型,任何MLflow生成的PyTorch模型,都可以被转换成为TorchScript,能够存储并部署到其他非Python相依环境。TorchServe MLflow扩展组件,则可让用户将任何MLflow生成的PyTorch模型,部署到模型服务器TorchServe中,通过TorchServe执行模型提供服务。

另外,最新的MLflow还进一步提供模型可解释性,Databricks官方提到,越来越多机器学习模型,在业务应用程序中,执行提示与决定性预测,因此机器学习工程师开始必需要解释,模型做出特定决策的原因,MLflow 1.12提供SHAP API,以提供机器学习模型输出的解释。