GCP用户现可以Cloud Functions串流Cloud Storage数据到BigQuery进行分析

Google为即时分析Cloud Storage中的数据,提供了一个新的途径,用户除了可以使用Cloud Dataflow进行复杂的数据串流处理之外,现在还可以使用无服务器服务Cloud Functions,以函数自动地将数据串流到BigQuery,进行快速分析。

GCP用户原本就能使用Cloud Dataflow服务,将数据串流传输至BigQuery进行分析。Cloud Dataflow使用Apache Beam框架,提供分窗(Windowing)和对话(Session)分析原语,以及Java和Python等其他各式开发语言的连接器,让用户执行复杂的ETL以及数据串流任务。Google提到,对于不熟悉Apache Beam API的用户,且不打算进行分窗或是复杂转换等截取文件数据工作,则Cloud Functions会是更好选择。

Cloud Functions是一个事件驱动的无服务器计算平台,具自动扩展、高可用性和高容错能力,用户不需要配置、管理或是更新服务器,适合适于小文件或是简单数据转换的串流任务。当数据文件上传到Cloud Storage中的时候,便能触发Cloud Functions串流,在以函数解析数据后,把数据串流至BigQuery。

Google表示,相较于能够用来处理复杂ETL工作以及大型数据集的Cloud Dataflow,Cloud Functions相对来说更为简单灵活,除了能适时缩放运算能力,适应需要处理的数据量外,用户还能以Cloud Functions自定义功能,执行像是使用Cloud Firestore数据库等其他任务。