需求场景
作为公有云计算平台，SAE长期以来一直饱受各种攻击，这里面涉及各种类型，包括Syn-flood、UDP-floold、DNS/NTP反射、TCP flag攻击等，当然这里面最常见还是基于HTTP协议的CC攻击，因为篇幅有限，所以今天先不介绍TCP/IP防火墙，集中在HTTP层面。
我们可以把正常的HTTP访问分为：
HTTP访问=正常访问+抓站+攻击
这三类行为有明显的区分特征，主要体现在频率和特征上，比如抓站的目的是抓取信息，而不是让你网站502，而攻击往往是要把网站Rank打下来，直接打到用户访问不了。而这三类行为又没有特别清晰的界限，比如何种访问叫正常抓站?抓到什么程度叫恶意抓站?这些定义往往是跟用户业务行为相关，从云计算平台的角度界定起来有难度。举个例子，内推网是SAE上的一个HR招聘网站，每天有上千万的访问，从内推的角度肯定希望各大搜索引擎能够合理的抓取/索引，扩大信息出口，但又不希望同行抓取，保护有价值的内容，但这个度是跟业务相关的，可能在业务初期可以松点，业务起来后可以严一点。
两层HTTP防火墙
从云计算平台，无法帮用户设定这些跟业务紧密相关的参数，只能把这个关交给用户自身，这也就形成了“应用防火墙”。但从云计算平台角度，又有义务帮用户挡住恶意的CC攻击，于是，SAE把这两类需求组成了两个产品：“应用防火墙”，用户可以从SAE操作面板看到，应用防火墙的难点在于充分自定义，包括触发阈值后的行为，这部分SAE近期将进行版本升级，功能将会更强大，今天先重点说“CC防火墙”。
策略中心
策略分成下面两个维度：
1）首先确定哪些应用可能被攻击(当前PV/IP、历史PV/IP)，这里面需要降噪处理，否则有些业务突然正常的流量突增(秒杀)可能收到影响
2）针对A筛选出来的可能被攻击的应用，分析其IP行为，这里分为两步：
·将IP按行为进行分组，行为类似的IP为一组，组规模越大的可疑性越大(动用的资源更多)
·针对群组IP分析，主要依靠 Feq(Request)/Num(URI)，可疑性与频率成正比，而与访问地址的离散度成反比
自学习：
任何规则都会存在误杀，所以必要的自学习是必要的，系统会跟实际情况通过梯度下降算法调整策略参数的最优点。另外，对于机器学习，准确率和召回率是一对矛盾体，针对我们遇到的场景，我们的所有参数学习都偏向准确率，因为召回率可以由应用防火墙做补充，从我们线上运行的实际情况看，准确率为100%，目前没有误报。
SAE利用CC防火墙结合应用防火墙，有效的保护了用户的HTTP请求，当然目前这套系统还存在着不足，包括Storm计算能力、应用防火墙的自定义性不足、应用防火墙重定向等方面，这也是我们后面的工作方向。
..
|
