数据探索服务Cloud Data Catalog发布公开测试版

GCP用户可以开始尝试使用数据探索与元数据管理服务Cloud Data Catalog,Google在今年Cloud Next大会发布了这项新服务,现在推出公开测试版。Cloud Data Catalog使用Gmail和Google云计算硬盘相同的搜索技术,让用户可以使用不同的过滤器,以表格名称、字段名称或是原数据等标签,快速的搜索数据。

Data Catalog可以用来搜索云计算数据存储服务BigQuery中的表格,或是搜索消息与事件截取服务Cloud Pub/Sub中的主题,而且还与IAM集成,用户能从访问控制中管理Data Catalog搜索的权限。Google表示,Data Catalog提供了一个所有数据集的统一审查图,让组织能够一次的审查所有数据资产,该服务会自动以结构化格式,通过标签、自定义的API以及UI,截取BigQuery以及Cloud Pub/Sub的业务元数据。

用户可以使用标签样板定义业务元数据,并将它们应用在不同的数据集中,Cloud Data Catalog扩展传统业务术语概念,增加了计算机科学中的双精度、布尔值以及枚举类型,以存储元数据和字符串。Google提到,Cloud Data Catalog可以让用户以元数据标记数据资产,方便进行管理与搜索,像是现在业务类别能以枚举类型,从默认的类别列表中分配给数据资产,以便在截取元数据的时候,能获得一致的类别。

要使用Cloud Data Catalog服务,用户可以在GCP控制台左侧导航面板找到Data Catalog选项,激活了之后,用户的所有BigQuery表格都会自动安排索引,并且成为可搜索的状态,管理员可以定义业务标签样板,并将其应用到所有数据集中。