Google BigQuery新机器学习推理引擎支持外部自定义模型

Google强化其云计算数据仓库BigQuery的机器学习功能,推出新BigQuery机器学习推理引擎,让用户可以直接在BigQuery导入外部训练的模型,借由缩短模型与资料之间的距离,加速机器学习运算。此外,用户也能够将资料指向远程托管在Vertex AI的模型,以更灵活地方式执行模型推理任务。

Google让用户无缝地在将资料预测分析集成至数据仓库中,消除了资料移动带来的成本和风险,用户还能使用熟悉的SQL语法来操作各种机器学习功能。而BigQuery的无服务器的特性,使得用户不需要在执行机器学习预测时自己配置基础设施。

过去,用户在BigQuery中导入机器学习模型的功能仅限TensorFlow模型。但Google现已扩展支持的模型格式,添加加TensorFlow Lite、XGBoost和ONNX。如此一来,用户便能够将PyTorch和scikit-learn等常用框架转换成ONNX,并将其导入到BigQuery中。现在用户可以在BigQuery使用在其他地方训练的模型,而不需要移动资料,BigQuery的分布式推理引擎能够批次执行推理工作,以提高推理执行性能。

对于一些需要特殊基础设施,以处理低延迟请求和大量参数的模型,用户可以选择将模型托管在机器学习平台Vertex AI端点,以获得GPU运算加速,Vertex AI也提供预构建容器、自定义容器等服务。用户现在可以选择直接从BigQuery内部,远程使用这些位于Vertex AI的模型进行推理。BigQuery会将资料送向远程Vertex AI进行推理,待推理完毕后的结果再送回BigQuery。

BigQuery机器学习远程模型推理,也支持图像等非结构化资料,用户可以使用Vertex AI上的图像、文本理解和翻译预训练模型进行推理。在BigQuery机器学习推理引擎中,这些模型可以使用特殊的预测函数,将文本和图像当作输入,并结果以JSON资料类型输出。