博文干货 | Pulsar 平均负载器(AvgShedder)
作者:冯文智,Apache Pulsar Committer,BIGO 大数据消息平台团队工程师,《Apache Pulsar 优化实战》作者,毕业于华中科技大学。 擅长领域包括 Pulsar 负载均衡和性能调优、联合 Flink 和 Pulsar 事务实现 Exactly Once 语义和 TLA 验证分布式协议等。 注:此篇 《Pulsar 平均负载器(AvgShedder)》为《Apache Pulsar 优化实战》小册 2.0 中新增的一篇。新增内容覆盖了现有 Pulsar 负载均衡的测试情况以及 Pulsar最新平均负载器(AvgShedder)的线上实测效果。 平均负载器 这是 BIGO 《优化 Apache Pulsar 系列》小册的第八篇文章,这篇文章我们首先会展示一系列实验数据来验证上一篇文章分析得到的结论,然后详细介绍 BIGO 内部开发的新负载均衡算法AvgShedder,分析其是如何解决当前算法所面临的各种问题,最后展示其线上运行效果以及测试效果。 我们首先对当前的两种负载均衡算法选择进行实验,验证前面的分析: 阈值卸载器方案:ThresholdShedder ...