开源资料集成平台Meltano募集资金420万美元脱离GitLab

原本GitLab内部的开源资料集成平台Meltano,经过3年的发展,现在已经成熟决定离开GitLab,向外募集420万美元,成为独立的公司,继续专注于发展开源资料集成和DataOps领域应用。

在去年中的时候Meltano调整了发展方向,开始专注朝向开源资料集成和ELT(Extract、Load、Transform)工作管线平台发展,并且拥抱由社群维护的资料连接器标准Singer。Meltano是一个使用MIT授权的开源平台,相依于一系列开源项目,除了Singer,还有资料转换命令行工具dbt,以及工作流程管理项目Apache Airflow等。

有别与更常听到ETL(Extract、Transform、Load)资料工作管型模型,Meltano所采用的ELT模型,在资料进入资料湖之前,不会先进行资料转换,而是直接存储原始资料格式,这使得加载时间更快,不过对于资料处理引擎的要求就更高,因为需要按需提供资料转换。

官方提到,在发展方向调整之后,他们发现,使用开源技术,并且根据DevOps原则所发展的资料工具,有其市场需求。

过去3个月内,由于开源社群的大力帮助下,官方发布了Meltano SDK,让用户更容易构建连接器,并且还发布了MeltanoHub,使得社群维护的连接器更易于被探索使用,而Slack社群中的参与者也达到了1,200名。官方提到,他们看到Meltano活跃增长,因此思考了未来发展可能性,希望Meltano可以成为构建下一代资料基础设施的角色,并将资料生命周期管理带入DataOps时代。

因此现在Meltano离开GitLab独立出来,使得Gitlab能继续专注于DevOps领域,而Meltano发起外部募集资金,走出自己DataOps的路。官方提到,这些资金供他们创建团队来加速产品开发,也会用于强化周围开源社群,最终,Meltano会走向商业化,在维持开放核心的情况下提供SaaS。

在产品的发展路线上,官方认为,Meltano和Singer已经成为DataOps开源资料集成的重要组合,他们会致力于支持ETL和反向ETL,并且改进Singer协议和Meltano,来增加系统的吞吐量和整体性能。