Google无服务器流媒体分析服务Dataflow Prime现可自动垂直缩放

Google云计算在无服务器流媒体分析服务Dataflow Prime,添加垂直自动缩放功能,通过自动扩展运算单元(Worker)内存,来提高Dataflow Prime的性能,由于是垂直扩展,因此用户也就不需要手动调整运算单元的配置。

Dataflow Prime供用户使用Apache Beam SDK或是Dataflow模板,编写资料处理逻辑,并由Dataflow处理工作管线的优化、执行和可扩展性,Google提到,在部分情况下,用户需要手动选择内存等资源,如此系统才能获得更佳的性能和降低成本。

调整资源是一个耗时的试错过程,且同时可能需要调整多个运算单元,才可能达到工作管线最佳配置,此外,当资料处理需求发生变化时,静态配置可能就不适用。Google云计算现在于Dataflow Prime提供垂直自动缩放功能,满足这些配置调整需求。

垂直自动缩放功能会持续观察流媒体传输工作管线中,内存不足(OOM)事件和内存使用的状况,并依此触发内存缩放,当内存利用率很高,垂直自动缩放功能便会替换更大内存容量的运算单元,Google提到,这个过程是迭代的,因此可能需要数分钟的时间。

反之,当内存使用率较低,便会缩减使用较少内存容量的运算单元。系统会观察工作管线的历史资料,来考量缩减规模的方式,以确保工作管线的稳定性,垂直自动缩放会采用较保守的方式进行缩减,尽可能减少工作管线中断。