Sentinel使用令牌桶实现预热【原理源码】-低调大师

Sentinel使用令牌桶实现预热【原理源码】

2020-11-01 596

前言

Sentinel的QPS流控效果有快速失败、预热模式、排队等待、预热+排队等待模式，本文主要分析预热模式中是如何使用令牌桶算法限流的。

一、流控效果源码结构

在FlowRule更新缓存时，根据配置的不同类型初始化不同的流控效果处理类。

1.流控效果封装入口

2.分发不同的控制类

3.流控控制类图

二、快速失败

快速失败即发送流控时抛出FlowException。

1.快速失败流程

备注
@1 获取当前已经使用的线程数或者QPS
@2 与阈值进行判断，是否允许本次通行
@3 QPS流控并且prioritized设置为true表示预占用令牌
@4 大于阈值触发流控
@5 小于阈值允许通行

2.预占用令牌

预占用令牌：当基于QPS流控时并且prioritized设置为true，表示当前时间窗口令牌不够时，预占用下个时间窗口的令牌并返回需要等待的时间。

备注：在不考虑优先级（预占用）令牌的情况，快速失败比较简单。

三、令牌桶原理

预热模式缓慢增加流量的一种方式，避免瞬间流量将系统压垮。

1.令牌桶图示

工作过程

请求流量从令牌桶中获取令牌，持有令牌放行，否则被拒
假如设置阈值每秒允许100个请求通过，则请求发送速率r=100/s
需要令牌生产速率为1/r，即1/100每10毫秒产生一个令牌
令牌桶容量为b已满多余的令牌将被丢弃
令牌桶为空请求被拒
允许突发流量最大突发流量为令牌桶容量b
请求通过相应的令牌从令牌桶中移除

2.令牌桶限流原理

假如系统平时流量很低，突然陡增的流量需要缓慢增加。具体到令牌桶，可以通过控制令牌的生产速率来对流量进行控制。令牌生产速率如何控制？

我们在使用sentinel设置QPS的预热流控时，需要设置阈值count和预热时长warmUpPeriodInSec，下面梳理下与下图坐标图的关系。

坐标图说明

参数	说明
x轴	表示令牌桶中的令牌数量
y轴	生产一个令牌需要的时间（秒）
stableInterval	稳定生产一个令牌需要的时间
coldInterval	生产一个令牌需要的最大时长，与冷启动因子coldFactor有关，可以通过-Dcsp.sentinel.flow.cold.factor设置，默认为3。
warmUpPeriodInSec	预热时长，默认为10秒。对应到坐标图中为（2）梯形面积
thresholdPermits(warningToken)	令牌桶中的一个阈值，超过该值时开启预热
maxPermits(maxToken)	令牌桶中最大令牌数

换算关系

count，已知由用户设置，例如每秒允许通过100个请求
warmUpPeriodInSec，已知由用户设置，默认为10秒，时间区域上红色（2）梯形区域
coldFactor，已知默认为3

公式一：stableInterval = 1/count公式二：coldInterval = stableInterval * coldFactor

备注：由于coldFactor默认为3，y轴stableInterval~coldInterval的距离是0~stableInterval的距离两倍，时间区域上红色（2）梯形区域是红色1的长方形区域的两倍。

公式三：坐标时间（1）长方形区域面积 = 长（thresholdPermits(warningToken)） * 宽（stableInterval）公式四：坐标时间（1）长方形区域面积 = 0.5 * warmUpPeriodInSec公式五：thresholdPermits(warningToken)=0.5 * warmUpPeriodInSec/stableInterval

备注：梯形的面积 = （上低+下低）* 高 ➗ 2 推导出maxPermits(maxToken)的值。

公式六：maxPermits(maxToken) = thresholdPermits(warningToken) + 2 * warmUpPeriodInSec ➗ (stableInterval + coldInterval)

备注：由斜率公式k=(y1-y2)➗(x1-x2)，得出斜率如下。

slope = (coldInterval-stableInterval)➗(maxPermits(maxToken)-thresholdPermits(warningToken))

原理概述

当令牌桶中的令牌数小于thresholdPermits(warningToken)时，令牌按照固定速率生产，请求流量稳定。当令牌数大于thresholdPermits(warningToken)时，开启预热。此段时期，生产的令牌的速率小于令牌滑落的速度，一段时间后，令牌小于等于thresholdPermits(warningToken)，请求回归到稳定状态，预热结束。

四、预热源码分析

1.WarmUpController构造函数

备注：此部分主要计算了warningToken阈值、最大令牌数maxToken、斜率slope，详细推导过程见原理部分。

2.请求判断逻辑

3.令牌的生产和滑落

备注：从代码可以看出sentinel中桶中的令牌生产和移除是在下次请求到来时一起处理的，另外Sentinel提供的令牌生产公式与当前时间currentTime有关系，如果一个冷系统好久没有流量，瞬间来了很大流量，此时的桶中令牌数会直接到达最大值maxToken，这也是官方提供的曲线图中开始流量比较陡的原因。

作者丨梁勇
来源丨瓜农老梁
欢迎关注公众号「瓜农老梁」

「瓜农老梁学习同行」

本文分享自微信公众号 - 瓜农老梁（gh_01130ae30a83）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。

微信关注我们

原文链接：https://my.oschina.net/u/4226611/blog/4698710

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

为什么effective java 第三版推荐使用try-with-resources代替try-finally

背景 try-finally 这个语句想必做java的同学都不陌生吧，每当我们有关闭资源的需求我们都会使用到try-finally这个语句，比如我们在使用锁的时候，无论是本地的可重入锁还是分布式锁都会有下面类似的结构代码，我们会在finally里面进行unlock，用于强制解锁： Lock lock = new ReentrantLock(); lock.lock(); try{ // doSometing }finally { lock.unlock(); } 或者我们使用java的文件流读取或者写入文件的时候，我们也会在finally中强制关闭文件流，防止资源泄漏。 InputStream inputStream = new FileInputStream("file"); try { System.out.println(inputStream.read(new byte[4])); }finally { inputStream.close(); } 其实乍一看这样的写法应该没什么问题，但是如果我们出现了多个资源需要关闭我们应该怎么写呢？最常见的写法如下： InputStrea...

2020-11-02

453

公众号发送"可视化"，获取源码与数据前言有小伙伴说，使用 matplotlib 做出来的图表比不上其他的基于 js 包装的库(pyechart、bokeh、plotly等)漂亮，他们可以还可以交互。同时，基于 matplotlib 包装的 seaborn 似乎也比较省代码。本想写一篇文章整体说一下这些库的对比，但是如果没有实际例子不太符合我的风格。因此，今天的目标图表是其他上层可视化库难以做到(或者根本无法完成)：此图表是模仿《经济学人》，是关于加拿大移民与出生地相关的图表那些基于 js 包装的可视化库，在js环境下，按理应该是可以做到。但在 Python 中就不会这么乐观有机会我会分享 d3.js 的做法，你会发现他与 matplotlib 的思路很相似本文所需要的库如下：行8：cycler 包只是为了方便定义颜色板数据是这样子：行3：泡泡图的数据列行4：堆积图的数据列本文所有的通用函数以宽表作为依据，行索引放 X 轴，每一列作为不同的图表系列这是颜色的定义： m_color_cycle 定义了7个系列的颜色，颜色值提取自示例图表 m_bubble_col...

2020-11-01

506

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。