基于云原生网关的流量防护实践
背景
在分布式系统架构中,每个请求都会经过很多层处理,比如从入口网关再到 Web Server 再到服务之间的调用,再到服务访问缓存或 DB 等存储。在下图流量防护体系中,我们通常遵循流量漏斗原则进行流量防护。在流量链路的每一层,我们都需要进行针对性的流量防护与容错手段,来保障服务的稳定性;同时,我们要尽可能地将流量防护进行前置,比如将一部分 HTTP 请求的流量控制前置到网关层,提前将一部分流量进行控制,这样可以避免多余的流量打到后端,对后端造成压力同时也造成资源的浪费,为此,在网关侧做流量防护是十分有必要的。
在传统的流量网关场景下,对流量进行访问控制是一个很常见的需求。比如在 nginx 中,limit_req 就是一个最为常见的限流配置,而在 Envoy 中,也支持本地以及全局两种模式的限流,但是二者均有其局限性。在功能的丰富度上,二者不及常见的限流组件开源项目,如 Sentinel 、Hystrix 等,在实际的使用场景中,实用性也很弱,比如不支持无性能损耗的集群限流等等。
云原生网关的流量防护功能,底层使用了 Sentinel 内核,并做了一定的强化和改造。Sentinel 是以流量与容错为切入点,从流量控制、不稳定调用隔离、熔断降级、热点流量防护、系统自适应保护、集群流控等多个维度来帮助保障服务和网关的稳定性,同时提供秒级的流量监控分析功能。其商业化产品不仅在阿里内部淘宝、天猫等电商领域有着广泛的应用,在互联网金融、在线教育、游戏、直播行业和其他大型政央企行业也有着大量的实践。
云原生网关作为集安全、流量、微服务三位于一体的下一代云上网关,在诞生之初,就被赋予了全场景使用的一个定位,为此流量防护也是其必备的一个能力,在流量防护能力上,具备以下优势:
- 具备与流行的流量防护项目如 Sentinel、Hystrix 等同等丰富的流量防护功能,并且还在不断迭代更新中。
- 天然支持均摊式的集群流控,使得用户无需关心网关以及 Upstream 服务的节点数。
- 提供配套的秒级监控,并支持 QPS、拒绝 QPS 、异常 QPS 、RT 以及并发数等丰富的流量指标,同时支持历史数据的查看,便捷地实现先观测,再配防护规则的使用路径。
- 流量防护规则秒级生效,配置防护规则后,无需等待,秒级生效。
Sentinel 流量模型介绍
如下图所示,流量防护是指,针对不同的流量,设置一道适合的屏障策略,在该屏障的观测下,一旦判定该流量不能被通过,应该及时拦截,从而达到保护网关、以及后端 Upstream 服务的作用。
云原生网关目前支持 QPS 限流、并发控制、熔断三种不同的流量防护能力,本文将从这三个功能分别去阐述其具体的效果,以及适用的场景。
- QPS 限流
这是流量防护最通用的一个场景,顾名思义,就是限制某个路由的流量,使其只能在一定的速率内访问网关,防止某个路由流量激增,造成后端服务的崩溃。云原生网关不仅支持路由级别的限流,而且天然支持均摊式的集群流控,用户无需关心网关节点的数量或者后端服务节点的数量,只需要配置一个总体的阈值,就可以轻松实现对某个路由的总体阈值限流。
- 并发控制
并发控制的具体实现,是通过实时维护一个并发值(这个值指的是一秒内,该路由流量的最大并行值,即未完成的请求数量),一旦下一个请求超过了设定的阈值,就拦截该请求。该功能不同于 QPS 限流,即使是在 QPS 较低的场景下,也能保证关键的资源,不被持续累积的慢调用所占用,而导致服务不可用,比如后端 Upstream 服务的线程池以及数据库资源等等,假设长期被占用,就会导致该 Upstream 服务出现异常。和 QPS 限流类似,云原生网关天然支持均摊式集群并发限流,只需配置一个总体的并发阈值,就可以实现对某个路由的总体并发控制。
- 熔断
在 Sentinel 、Hystrix 等限流项目中,都能见到该功能,就如字面上的意义,熔断是指,在路由的流量出现了某个异常状态,需要及时熔断该流量,从而保证与该路由相关 Upstream 服务能够高效稳定的运行,而不受某个异常路由流量的影响。
熔断机制背后对应熔断器模型 (Circuit Breaker)。当调用处于某种不稳态(通常是出现异常或慢调用)达到一定程度(通常关注比例而不是绝对量),熔断开启 (OPEN),所有的请求都会 fallback 掉;过一段时间后进入探测恢复阶段 (HALF-OPEN),放过一定数量的请求,以这些请求的情况来 indicate 下游服务的恢复情况,若这些请求达到稳态,则恢复对应调用 (CLOSED);否则重回熔断状态,具体原理如下图所示:
另外,云原生网关的流量防护能力底层是基于 Sentinel 的毫秒级滑动窗口精确统计,为此,云原生网关的流量防护功能界面也配套了一个秒级监控系统,可以通过观测=>发现问题=>创建防护规则这个使用路径去更好地在云原生网关上创建流量防护规则。
如何在云原生网关上进行流量防护
QPS 限流
下面,我们将动手去实践,在云原生网关上去使用上述的三大流量防护功能。
首先,进入到云原生网关实例中的路由配置界面,选择“策略配置”里的“限流”选项,手动给这个路由注入一个 QPS 10000 左右的流量,在配套的秒级监控可以看到 5 分钟内该路由的 QPS 情况。
在秒级监控的下方,可以看到流控规则、并发规则,熔断规则三个配置项,首先先配置一条限流规则,具体参数如下图所示:
打开开启开关并点击保存按钮,就顺利加入了一个 QPS 限流策略,这个策略的含义是,当路由流量的总 QPS 达到 5000 的时候,统计窗口内下一个到来的流量会被拒绝,拒绝的行为是,返回一个HTTP包,返回码是 429 ,内容是一个 JSON 格式的文本,内容是:
{ "context": "just for test" }
此时再返回查看秒级监控,就可以看到如下的曲线图:
并发控制
并发规则也是类似,只不过,控制值由 QPS 变成并发数,具体的参考配置参数如下:
返回查看秒级监控,既可以看到以下的结果:
熔断
熔断规则的配置较为复杂,具体的含义可以查看配置界面的说明,具体的参考配置如下:
这个规则的具体含义是,在 20 秒的统计窗口内,从第 5 个请求之后,开始统计慢调用的比例,一旦比例超过 20% ,立马熔断该路由的流量,其中慢调用的定义为 RT 超过 1 ms 的请求。配置完成之后,监控的表现如下图的所示:
上述的例子只是为了演示效果,在实际生产环境中,需要更为谨慎的去定义慢调用比例以及熔断时长等参数,否则可能会导致后端服务整体不可用,是一个风险较高的流量防护功能。除了慢调用比例之外,还支持异常比例的熔断条件判断,异常的定义是指 HTTP 调用发生 5XX 的情况。
总结
本文详尽地介绍了如何在云原生网关上做流量防护,包括在不同的场景下该配置何种防护规则,并给出了详细的使用路径,可以从中体验出云原生网关的流量防护功能相对于其它网关产品限流功能的优势。作为云上网关的核心功能之一,后续我们也会持续强化流量防护功能,也欢迎大家持续关注阿里云官网的 MSE 微服务引擎产品动态。
作者:涂鸦
点击立即免费试用云产品 开启云上实践之旅!
本文为阿里云原创内容,未经允许不得转载
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
用案例带你认识决策树,解锁洞察力
本文分享自华为云社区《【机器学习 | 决策树】利用数据的潜力:用决策树解锁洞察力》,作者:计算机魔术师 。 决策树 1.1 分类 决策树是一种基于树形结构的分类模型,它通过对数据属性的逐步划分,将数据集分成多个小的决策单元。每个小的决策单元都对应着一个叶节点,在该节点上进行分类决策。决策树的核心是如何选择最优的分割属性。常见的决策树算法有ID3、C4.5和CART。 决策树的输入数据主要包括训练集和测试集。训练集是已知类别的样本集,测试集则是需要分类的未知样本集。 具体来说,构建决策树的过程可以分为如下几个步骤: 选择最优特征。在构建决策树时,需要从当前样本集合中选择一个最优的特征作为当前节点的划分属性。通常使用信息增益、信息增益比或基尼指数等指标来评估各个特征的划分能力,并选取最优特征。 划分子集。根据选取的最优特征,将当前样本集合划分成若干个子集。每个子集对应于一个子节点,且该节点所代表的样本集合与其父节点的样本集合不重复。 递归构建决策树。对于每个子节点,重复前两个步骤,直到所有的样本都被分配到叶子节点上,并且每个叶子节点对应着一个类别。 剪枝操作。由于决策树容易出现过拟合,因此...
- 下一篇
应用开发者的疑问:大模型是真正的银弹吗?
被当成银弹的大模型 ChatGPT 火了之后,大模型似乎被当成了真正的银弹,所有的体验问题都想通过大模型解决: 能不能和大模型对话订机票? 自然语言生成 SQL,简化报表分析工作? 大模型帮老年人操作软件? 能不能用于识别敏感信息? ...... 似乎大模型成了自然语言工程领域的真正银弹。但是我依稀记得 《人月神话》作者 Fred Brooks 所说的 “软件工程没有银弹”;以及华尔街投资大师们说的 “当所有人都在谈论一件事情的时候,说明这件事情已经出现了泡沫”。 这里就想和大家简单讨论下大模型的局限以及真正的适用场景。本人不是专业搞算法的,还希望算法大佬们多多发表观点。 大模型是银弹吗? 把一些软件功能接入大模型,精度之类的问题或许还可以通过大量的训练解决。但是当真正面对终端用户时,下面这些问题却可能导致大模型不是最优解法。 昂贵的费用 吴军的著作《浪潮之巅》认为,互联网和计算机软件行业能快速扩张这么多年的重要原因就是其很低的扩张成本。传统行业,比如福特汽车,每卖出一辆汽车,就必须付出一辆车的生产成本,甚至要扩建厂房等等,这最终使得福特汽车的规模扩张不再划算,不得不市场份额让给其他...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS8安装Docker,最新的服务器搭配容器使用
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS关闭SELinux安全模块
- Linux系统CentOS6、CentOS7手动修改IP地址
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS7设置SWAP分区,小内存服务器的救世主
- SpringBoot2整合Thymeleaf,官方推荐html解决方案