Google更新云端平台数据工程师训练课程

因应数据处理技术的变化,Google更新了Google云端数据工程师的训练课程,加入了诸如Data Fusion和Cloud Composer的介绍,也为高端的BigQuery、BigQuery机器学习和Bigtable流媒体课程,加入更多实际操作教程,让用户对这些技术更加上手。

人工智能与机器学习技术蓬勃发展,数据工程师现在需要具备比过去更多的技能,Google提到,之前数据工程师需要学会使用分布式系统和Java程序开发,在数据中心操作Hadoop MapReduce,但是现在数据工程师还需要熟悉人工智能、机器学习以及商业智慧等技能,来管理和分析数据。

为此,Google重新安排数据工程的课程内容,课程从GCP大数据与机器学习基础开始,介绍技术概念与术语,接下来主题便会进入到Google云端数据湖泊以及数据存储,除了让数据工程师了解职位的责任之外,也介绍云端数据工程的好处,以及企业对于数据工作管线的需求,这个课程会深入使用案例,并且介绍GCP上数据湖泊以及数据存储解决方案。

第三个主题会是在Google云端构建数据批处理工作管线,逐步引导用户了解数据工作管线,以及不同的批处理范式,像是额外加载、ELT(Extract- Load-Transform)或是ETL等,用户将学会使用BigQuery以及在Dataproc执行Spark的方法,也可学会Data Fusion工作管线图的概念,或是以Dataflow无服务器服务处理数据。

学完数据批处理,接下来用户还会学到在Google云端构建流媒体分析系统,从构建流媒体数据工作管线、使用Dataflow聚合和转换流媒体数据,到将处理完的数据存储到BigQuery或是Bigtable。学完准备数据的方法后,最后便是教用户使用智慧分析、机器学习和人工智能服务,在数据工作管线中自定义机器学习,也能知道自动化机器学习AutoML服务的应用方式,或是使用Kubeflow Pipelines产品化机器学习应用。