AWS推出适用于Kafka集群的托管连接器服务

AWS发布了Kafka Connect托管集群服务MSK Connect。AWS适用于Apache Kafka的Amazon Managed Streaming(MSK),是一项完全托管的服务,可以供用户简单地运行Apache Kafka以处理流媒体资料。AWS提到,在使用Apache Kafka时,用户可以从物联网设备、数据库更改事件,和网站点击流量等来源,截取即时资料,并将其发送到数据库和持久存储。

而Kafka Connect是一个Apache Kafka开源组件,其提供一个框架以连接外部系统,像是数据库、键值存储、搜索索引和文件系统,但是手动运行Kafka Connect集群,需要用户自己规划和配置基础设施,并且处理集群操作,依工作负载变化对其进行扩展。

MSK Connect服务则能够持续监控连接器的运行状况和交付状态,修补并且管理底层硬件,还能自动扩展连接器,以消化吞吐量的变化,让用户可以将资源构建在应用程序上,而非管理基础设施工作。官方强调,MSK Connect和Kafka Connect完全兼容,这代表用户可以不需要变更程序代码,就可以搬迁现有连接器。

用户使用MSK Connect不一定需要使用MSK集群,其支持Amazon MSK、Apache Kafka,还有与Apache Kafka兼容的集群,作为来源和接受器,只要MSK Connect可以连接到集群,这些集群可以是由AWS合作伙伴,或第三方组织自行管理和托管。

MSK Connect已在许多云计算服务地区提供,包括美东、美西、欧盟和加拿大等,而亚洲地区则可在东京、雪梨、新加坡、首尔和孟买使用。MSK Connect按使用量付费,连接器使用的资源则根据工作负载自动扩展。