Canonical改进MLOps平台Charmed Kubeflow资料处理与模型关注功能

Canonical发布最新的端到端MLOps平台Charmed Kubeflow 1.6,这个版本的更新重点在于改进资料处理,通过集成Charms来处理来自各种来源的资料,以及关注功能也获得强化,能够更有效地测量机器学习模型,另外,Charmed Kubeflow 1.6还开始支持PBT训练技术,提高模型训练效率。

Kubeflow是可用于训练复杂模型的端到端MLOps平台,针对Kubernetes提供可移植和可扩展的机器学习解决方案,简化使用深度学习函数库TensorFlow和PyTorch的分布式训练工作,而Charmed Kubeflow则是Kubeflow的企业级版本,其特点在于具备自动执行任务的能力,通过引入自动维护和安全运行的Kubernetes Operator组件charm,加速工作负载部署,使数据科学团队能够更有效率地将模型推向市场。

官方引用Kubeflow在2022年的社群调查,调查提到资料处理和转换是企业面临的一大挑战,除了该工作本身就非常耗时之外,资料通常来自各种来源,而每个来源都有特定的程序和相依关系,使得资料处理工作变得繁琐复杂。

Charmed Kubeflow 1.6的更新使资料处理体验更流畅,进而加速模型概念验证阶段,缩短模型转换到生产的时间,而现在Canonical改进Charmed Kubeflow 1.6资料处理能力,通过使用charm来集成和处理各种来源的资料。

新版Charmed Kubeflow也拥有较好的关注功能,用户能够更有效率的测量机器学习模型,模型迭代和调试工作将会更简单,解决方案会侦测资料飘移,使得模型能够更快地适用变化,同时,新版本还改进了试用日志,允许在数据源故障的情况方便地进行调试。

Charmed Kubeflow 1.6另一个重要的更新是支持Population Based Training(PBT)技术,这将有助于改善机器学习模型训练,达到生产就绪状态的效率。Canonical提到,模型通常需要多达15次迭代才能进入生产,而且其中只有一半才有机会获得这么大的进展,借助PBT,需要大量资料的模型训练会变得更有效率。