Google开放比8年前更大更完整的Borg集群关注资料,供云计算技术研究用

经过8年,Google再次发布Borg集群管理系统的关注资料,供外界进行研究与分析,Google提到,从2011年第一次发布Borg集群关注资料以来,机器与软件经过一段时间发展,工作负载也产生变化,工作负载变动的重要性越来越显著。

Google的Borg是一个集群管理系统,这些集群的规模,可高达数万台计算机,Borg跨多个集群执行来自为数庞大应用程序,所产生的成千上万个作业。Borg通过程序层级的性能隔离,执行控制许可、打包任务以及机器共享等功能,达到高利用率的目的。几乎所有的Google服务底层都是依赖Borg,像是运行Google文件的机器,还有Google云计算服务的机器,都是由Borg管理。

Borg系统这样的规模以及应用,使其关注资料极具研究价值,在8年前,Google发布了为期29天的Borg集群关注记​录,包含了Borg运算集群中的所有作业提交、调度决定和资源使用情况资料,这份关注资料被广泛地用在集群以及云计算研究上,像是集群调度程序以及云计算的技术发展上。

而现在技术的发展,已经与8年前不可同日而语,为了供研究人员探索这些变化,Google发布了新的2019年5月关注资料,这次发布的资料集比2011年的还大,涵盖8个Google运算集群,而且还包括每5分钟一次的CPU使用率直方图,而不像之前仅是点样本,还有分配集的相关资料,包括作业用的预留共享资源等,另外,这次资料集还给了Master和Worker关系信息。

Google强调,这些关注资料重点在于资源的请求和使用上,不会包含终端用户资料,或是访问存储系统和服务的模式。现在这些资料已经放在Google BigQuery上,让研究人员访问以及分析。