AWS正式推出SageMaker无服务器推理服务

AWS在re:Invent 2021大会中发布的机器学习SageMaker无服务器推理(SageMaker Serverless Inference)服务,现在已经正式上线。用户可以使用该服务快速部署机器学习模型,执行推理工作负载,而不需要配置和管理底层基础设施。

当用户在SageMaker部署模型时,只需要选择无服务器选项,SageMaker就会根据推理请求的数量,自动配置、扩展和缩减运算容量,AWS提到,用户仅需要针对处理推理请求的运算容量,和资料量支付费用,不需要对空闲时间付费,因此很适合用于间歇性或是不可预测流量的应用程序。

从re:Invent 2021大会发布以来,AWS持续更新SageMaker无服务器推理,加入了对Python SDK的支持,抽象模型部署来简化开发者的工作,同时支持模型注册表,让开发者可以集成无服务器推理端点和MLOps工作流程。AWS也加大每个端点并行触发的上限,从50提升到200,使得用户可以将SageMaker无服务器推理用于高流量工作负载。