AWS网页应用程序防火墙现可识别并阻挡机器人流量

AWS在其网页应用程序防火墙(WAF)添加机器人控制(Bot Control)功能,让用户能够轻易地阻绝,像是爬虫等不必要的请求流量。机器人控制能够通过分析连接请求的元资料,来阻挡有害的机器人访问,目前AWS已经向所有提供网页应用程序防火墙服务的地区开放这项功能。

AWS提到,典型网络应用程序的流量,有51%来自机器执行的脚本,这些机器人有部分是对网站有益,有一些则否。

对网站应用程序有益的机器人,可能会对网站进行检索,提高网站的曝光,有益于网站被发现,有一些机器人则会监控网站的可用性和性能,但绝大多数的网站流量,都是来自对网站无益甚至有害的机器人,包括以脚本检测网站漏洞,或是未经网站同意,将内容复制到其他地方,除了安全风险之外,这些流量也会对基础设施造成不必要的压力,并且增加网站运营成本。

不过网站要管制这类机器人流量并不容易,通过制定一组规则来阻挡不想要的流量,不只耗耗时间而且也容易出错,一不小心就可能阻挡良好的流量,或是授权了本应阻挡的流量。为了解决这些问题,AWS开始提供阻挡机器人流量的服务,网页应用程序防火墙用户,现在可以应用该功能识别常见的机器人流量,并且对这些流量采取行动,针对大型企业使用案例,也可以使用AWS Firewall Manager进行集中式管理。

机器人控制功能通过分析请求元资料,包括TLS握手、HTTP属性和IP地址,来识别机器人的用途和来源,该功能可以分类机器人类型,了解发出请求的机器人,属于网页抓取、爬虫、搜索引擎优化还是网站监控等程序。当机器人控制功能识别出机器人,用户便能用来阻挡有害机器人流量,除了可以简单地使用防火墙默认配置之外,也可以自定义配置。

而防火墙的机器人控制功能,则是使用AWS网页应用程序防火墙两项托管规则组(Managed Rule Groups)新功能,分别是标记(Labeling)和缩小范围声明(Scope Down Statement)来运行,标记功能可以通过比对规则语句,添加元资料到请求中,用户可以把这个元资料标签视为一个变量,并能用于之后的规则语句。

缩小范围声明功能则是让用户定义规则组(Rule Group)的执行条件,这类似目前AWS网页应用程序防火墙所提供,以请求速率为基础的缩小范围功能,而使用缩小范围声明则可以减少托管规则组的成本,并且避免误报或是特定路径出现延迟。结合规则组配置、标记和缩小范围声明功能,用户就能够自定义处理机器人请求的方法。

简言之,机器人控制功能让用户可以在仪表板上,简单地查看机器人流量,并且阻挡不必要的机器人流量,来减少运营和基础设施成本。机器人控制功能是一个付费的AWS托管规则,可以添加到用户的网页ACL中,每月需要支付10美元,并且每百万请求多支付1美元,机器人控制功能免费层级,则提供用户每月1,000万个免费请求。