如何让服务在流量暴增的情况下保持稳定输出

2020-10-22 481

服务自适应降载保护设计

设计目的

保证系统不被过量请求拖垮
在保证系统稳定的前提下，尽可能提供更高的吞吐量

设计考虑因素

如何衡量系统负载
- 是否处于虚机或容器内，需要读取cgroup相关负载
- 用1000m表示100%CPU，推荐使用800m表示系统高负载
尽可能小的Overhead，不显著增加RT
不考虑服务本身所依赖的DB或者缓存系统问题，这类问题通过熔断机制来解决

机制设计

计算CPU负载时使用滑动平均来降低CPU负载抖动带来的不稳定，关于滑动平均见参考资料
- 滑动平均就是取之前连续N次值的近似平均，N取值可以通过超参beta来决定
- 当CPU负载大于指定值时触发降载保护机制
时间窗口机制，用滑动窗口机制来记录之前时间窗口内的QPS和RT(response time)
- 滑动窗口使用5秒钟50个桶的方式，每个桶保存100ms时间内的请求，循环利用，最新的覆盖最老的
- 计算maxQPS和minRT时需要过滤掉最新的时间没有用完的桶，防止此桶内只有极少数请求，并且RT处于低概率的极小值，所以计算maxQPS和minRT时按照上面的50个桶的参数只会算49个
满足以下所有条件则拒绝该请求
1. 当前CPU负载超过预设阈值，或者上次拒绝时间到现在不超过1秒(冷却期)。冷却期是为了不能让负载刚下来就马上增加压力导致立马又上去的来回抖动
2. averageFlying > max(1, QPS*minRT/1e3)
  - averageFlying = MovingAverage(flying)
  - 在算MovingAverage(flying)的时候，超参beta默认取值为0.9，表示计算前十次的平均flying值
  - 取flying值的时候，有三种做法：
    1. 请求增加后更新一次averageFlying，见图中橙色曲线
    2. 请求结束后更新一次averageFlying，见图中绿色曲线
    3. 请求增加后更新一次averageFlying，请求结束后更新一次averageFlying
    我们使用的是第二种，这样可以更好的防止抖动，如图：
  - QPS = maxPass * bucketsPerSecond
    - maxPass表示每个有效桶里的成功的requests
    - bucketsPerSecond表示每秒有多少个桶
  - 1e3表示1000毫秒，minRT单位也是毫秒，QPS*minRT/1e3得到的就是平均每个时间点有多少并发请求

降载的使用

已经在rest和zrpc框架里增加了可选激活配置
- CpuThreshold，如果把值设置为大于0的值，则激活该服务的自动降载机制
如果请求被drop，那么错误日志里会有dropreq关键字

参考资料

项目地址

https://github.com/tal-tech/go-zero

好未来技术

微信关注我们

原文链接：https://my.oschina.net/kevwan/blog/4684056

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

ssh 在大厂写React，学到了什么？

前言进入大厂搬砖也有 3 个月了，我工作中的技术栈主要是 React + TypeScript，这篇文章我想总结一下如何在项目中运用 React 的一些技巧解决一些实际问题，本文中使用的代码都是简化后的，不代表生产环境。生产环境的代码肯定比文中的例子要复杂很多，但是简化后的思想应该是相通的。取消请求 React 中当前正在发出请求的组件从页面上卸载了，理想情况下这个请求也应该取消掉，那么如何把请求的取消和页面的卸载关联在一起呢？这里要考虑利用 useEffect 传入函数的返回值： useEffect(()=>{return()=>{//页面卸载时执行};},[]); 假设我们的请求是利用 fetch，那么还有一个需要运用的知识点：AbortController，简单看一下它的用法： constabortController=newAbortController();fetch(url,{//这里传入signal进行关联signal:abortController.signal,});//这里调用abort即可取消请求abortController.abort(); ...

2020-10-21

519

CountDownLatch CountDownLatch适用于在多线程的场景需要等待所有子线程全部执行完毕之后再做操作的场景。举个例子，早上部门开会，有人在上厕所，这时候需要等待所有人从厕所回来之后才能开始会议。 publicclassCountDownLatchTest{privatestaticintnum=3;privatestaticCountDownLatchcountDownLatch=newCountDownLatch(num);privatestaticExecutorServiceexecutorService=Executors.newFixedThreadPool(num);publicstaticvoidmain(String[]args)throwsException{executorService.submit(()->{System.out.println("A在上厕所");try{Thread.sleep(4000);}catch(InterruptedExceptione){e.printStackTrace();}finally{count...

2020-10-21

508

资源下载

更多资源

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。