Netflix幕后最大功臣是Python!工程师:每个数据工具都靠Python构建

Netflix是全球最大的串流影音平台,如此多人追捧的趋势下,又是哪种强大的程序语言,支撑着Netflix的内部运行呢?

而根据Netflix工程师在Netflix Tech Blog揭密,所使用程序语言便是目前最受欢迎的程序语言Python,运用该语言执行跟踪用户使用状况与位置等,上到推荐算法下到内容传递网络CDN,整个内容生命周期全都使用Python确保网络传输内容,拉近与用户的距离。

Netflix工程师还悉心分享,Netflix是如何应用Python,截取出以下几点:

Python加速警报和统计分析工作

CORE团队将Python使用于警报和统计分析工作中,所以当警报系统亮红灯时,就会自动分析1000多个相关信号,找出问题。另外Netflix也另外开发系统,使用Python进行大量的分析公作,以快速交付结果。总而言之,Python通常被Netflix用来自动化任务、数据采集和清理。

Python设计Demand Engineering

Demand Engineering负责Netflix云计算计算的区域容错转移、流量分配、容量运营和集群效率。而关于这部分Netfli x工程师十分自豪的表示,这些工具主要都是由Python构建的。编排容错转移的服务使用numpy和scipy来执行数值分析,boto3对AWS基础设施进行更改,rq用于运行异步工作负载,我们将其打包在一个Flask API的薄层中。放入bpython shell并进行临时制作的能力已经不止一次挽救了局面。

利用Python来设计个性化算法

Netflix在个性化机器学习基础设施中,广泛使用Python来训练一些关键体验的机器学习模型:先是从推荐算法到图片个性化,再到营销算法。

例如,一些算法使用TensorFlow、Keras和PyTorch来学习深度神经网络,XGBoost和LightGBM来学习梯度提升决策树,或者Python中更广泛的科学堆栈(numpy、scipy、sklearn、matplotlib、pandas、cvxpy等等)。

Python打造信息安全防路网

信息安全方面使用Python为Netflix实现安全自动化、风险分类、自动修复和漏洞识别等目标。并拥有许多成功的Python开源项目,包括Security Monkey(Netflix最活跃的开源项目)。基础设施安全上也利用Python帮助使用Repokid进行IAM权限调整,和帮助Lemur生成。

Python开发内容机器学习,预测收视率

内容机器学习也利用Python开发机器学习模型,来预测所有内容的受众规模、收视率和其他需求指标的核心。

发表评论