IBM于近期推出了全新无服务器的开源框架CodeFlare，帮助开发人员减少在混合云环境中部署AI模型所花费的时间，此框架目前已在GitHub上开源。
使用CodeFlare后，减少94%机器学习模型Pipeline执行时长
对于企业而言，训练出一个机器学习模型从来不是主要的瓶颈—那什么才是呢？
在生产环境中的持续运营、构建完整的人工智能系统，完成规模化落地，而且中间没有任何重大的断层，这才是真正的挑战。然而，企业为了随时应对新需求来部署机器学习解决方案，经常只能不断重写实验程序代码来迭代，但这种方法是模棱两可的，在不具备MLOps的概念之下，成功几率更低。
据IBM表示，用户使用CodeFlare框架分析和优化大约100,000个用于训练机器学习模型的pipeline时，可将执行时长从原本的4小时大幅缩减到短短15分钟。
资料科学和机器学习分析，在各个垂直领域的需求正在激增，任务也变得越来越复杂。随着资料集越来越大，涉及的系统也变多，使得AI研究人员和开发人员得花更多时间配置在模型设置上，要创建一个机器学习模型，必须还得进行数据清洗、特征标准化、特征提取等耗时、耗力、多重的前置作业，才能进行训练优化。
而CodeFlare存在的目的，就是要简化AI迭代过程，让数据工作流程更容易规模化进行。CodeFlare框架主要是创建在Ray之上—Ray是加州大学伯克利分校RISE实验室为AI应用程序开发的开源分布式计算系统，也是源自IBM集团的一个项目，通过该项目也创建出了世界上第一个原型2纳米芯片。
IBM框架CodeFlare接口基于Python，具三大特点
IBM Research混合云平台总监Priya Nagpurkar透露：“CodeFlare采用了简化机器学习的概念…更进一步把每个孤立的步骤串联起，将端到端pipeline与资料科学家熟悉的接口无缝集成—比如Python，而不是容器（container）。CodeFlare使用了统一的runtime和程序接口，有助于简化pipeline集成和扩展的过程，展现与众不同的性能。”
具体来说，CodeFlare拥有以下三大特点：
1. 基于Python的接口，可用于管理跨平台的pipeline，且pipeline可以在大多数计算环境中共享资源、进行平行化运算。通过转接器与其他云原生生态系统统集成和衔接，形成横向分布式工作流程，开发人员也不必为了维护管理而去学新的语言。
2. 触发器功能，使CodeFlare pipeline能够在发生某些特定事件（例如有新文件抵达）时被启动，同时，可从任何来源加载和分割资料，让pipeline能够有效去运用一系列数据源，包括文件系统、对象存储、数据湖和分布式文件系统。
3. 可以部署在任何云基础架构上，通过和Red Hat OpenShift和IBM Cloud Code Engine的集成，实现了无服务器的体验，并供用户在任意平台创建工作流程，具备拓展无服务器服务的好处。
从广泛角度来看，CodeFlare的概念类似于Amazon SageMaker Pipelines，聚焦在从云仪表板自动化、组织机器学习pipeline的流程，而Google、微软和Hybernet Labs则是分别在Cloud AI Platform Pipelines、Azure Machine Learning Pipelines和Galileo中提供了相似的服务。但IBM强调，CodeFlare结合了本地和云计算基础架构，是从本地端开始构建来支持混合云的。
“该框架背后的动机，是为了收拢工作流程，还有为了完美结合人工智能、机器学习、资料分析和建模”，Nagpurkar表示，“我们看到了在runtime之下能大幅优化渠道的机会，可以有效管理和改善数据依赖性（data dependencies）、执行控制性（execution control）。”
CodeFlare已开源，降低企业AI部署混合云难度
目前CodeFlare已在GitHub开源，IBM也提供了一系列有关其工作原理，以及开发人员入门所需的技术博客文章。预期未来，IBM计划继续发展CodeFlare，来支持更复杂的pipeline和功能，例如容错和一致性、外部资源的集成和数据管理，以及强化对可视化渠道的支持。
就目前的性能来看，CodeFlare已经可以将执行100,000个训练渠道的分析和优化时间，从4小时缩短到15分钟。此外，IBM正在与客户合作，将CodeFlare集成到他们的软件流程中，也在IBM自家的AI研究中使用此框架。
“实现一致性的体验，以将pipeline从笔记本扩展到小型集群（cluster）、再到云，是CodeFlare的一大关注点”，Nagpurkar补充，“我们将CodeFlare视为我们混合云平台发展的关键下一步，对用户的价值方面，我们必须强调，通过显著提高效率，CodeFlare不仅可以节省成本和时间，而且还创造了机会来解决以前由于规模或复杂度等原因、而根本不切实际的新使用场景。”
有了像CodeFlare这种具备MLOps优势的框架，开发人员就不必一直重复相同的工作，也不需要彻底理解pipeline的配置，用统一接口就可使用丰富的工具和API一致的进行操作，把更多宝贵的时间放在研究和实际应用上，简化配置和部署的复杂工作流程，更快速部署到混合云，开发和部署AI模型的过程，又会变得轻巧许多。