微软资料管控服务Azure Purview开始提供Azure SQL动态资料处理历程

微软宣布在其资料管控服务Azure Purview,支持Azure SQL数据库动态资料处理历程截取(Dynamic Lineage Extraction)功能,使用户更容易关注资料操作历程,包括生成来源和转换过程等信息。

无论是技术还是业务领域的资料用户,皆须依赖资料处理历程,来进行根本原因分析、影响分析、资料品质关注和各种资料治理操作,微软提到,在当前的资料环境中,资料传播于本地和云计算部署,能自由地跨资料平台和应用程序转移,因此掌握资料处理历程也就越来越重要。为此,微软发布了动态资料处理历程截取功能。

传统系统执行静态程序代码分析,借由解析资料转换脚本来找出资料处理历程,微软表示,这种方法只能能够应用在简单的用例中,像是当使用SQL脚本借由连接两个人信息料表,生成目标表格时。不过,在许多实际使用场景,资料操作都复杂得多,因为脚本可以包装在预存程序中,而预存程序可能包含判断式,在运行时执行不同的脚本,又或是在执行时发生资料交易失败。

官方提到,有许多用例,都需要以动态分析更有效地分析资料处理历程,而且静态资料处理历程分析,不会将资料和程序与执行时的元数据相关联,反之,动态资料处理历程能够掌握资料执行者身份、执行时间、用于执行的服务器等信息,如此能使用户进一步管理隐私,并且遵守法规要求。

预存程序通常用于下游应用程序,在SQL表格中执行资料转换和聚合操作,而微软现在于Azure Purview提供的Azure SQL数据库动态资料处理历程截取功能,通过使用Azure Purview Data Map组件,用户可以获得更丰富的资料处理历程,包括执行状态、受影响行数、用户信息等各式操作细节。

Azure Purview Data Map连接SQL引擎的检测框架,直接截取执行时日志以聚合动态历程,同时执行时日志还提供在SQL引擎中实际执行的查询,借由使用Azure Purview便可以映射资料历程,以及收集详细的出处信息。