Kafka consumer rebalance解析-低调大师

Kafka consumer rebalance解析

2017-11-12 612

线上使用Kafka0.72+Flume-ng 1.4的消息架构；流入到HDFS使用的Flume根据容量分析使用率太低了，决定从8个实例缩减到4个实例，在down实例的过程中的消息流入量per sec如下图：

这个Kafka的Topic共有10个partitions；在down实例的时候发生了一些抖动，不过是十分有规律并且可以预测的.

kafka的rebalance assigment是固定的；将partition按照consumer的label排序，然后进行取模分配：即第m个partition，如果一个consumer group有n个consumers，则分配到给第（m mod n）个consumer；其实根据这个算法完全可以预测出上图的波动了.另外，根据该算法，如果consumer的个数大于partition的数目那么多余的consumer不会消费到消息(https://issues.apache.org/jira/browse/KAFKA-687https://issues.apache.org/jira/browse/KAFKA-564)；

不过，kafka的rebalance算法在0.8还是不成熟的：最明显的当属herd effect了；每当一个consumer加入或者删除，或者partition增加或者减少都会导致所有的consumer进行一次rebalance操作；0.9对rebalance做了新的design(https://issues.apache.org/jira/browse/KAFKA-264)引入了consumer co-ordination.

本文转自MIKE老毕 51CTO博客，原文链接：http://blog.51cto.com/boylook/1300306，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/476852

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Empirix e-Test Suite 8.01

e-test是一款功能强大、简单易用的网站测试解决方案，可有效确保企业级web应用程序、.net应用程序、java应用程序、web service，以及如siebel, peoplesoft 等公司出品的应用程序的性能和可靠性。e-test使你更加自信的配置这些应用程序。此外，这套软件还集成了测试工具和过程管理软件，包含了为客户提供高质量体验所需的一切。由empirix公司开发的e-test suite测试软件是当前优秀的易于使用、并能够和被测试应用无缝结合的web应用测试工具。该产品由三部分组成：e-tester、e-load和e-monitor，这三种工具分别适用于应用功能测试、压力测试以及应用监控，每一部分的功能相互独立，测试过程中又可以彼此协同，从多方面保障了web应用的成功。 e-tester：面对时刻都有可能变化的web应用，e-tester能自动测试每星期、甚至每天都在变化着的web应用程序。它可以记录下测试过程中所访问的每一页面上的所有对象，并以图形化的方式呈现，从而任何差异都可以被凸显出来，以此来测试web应用的功能。 e-load：web应用程序的主要好处之一是允...

2017-11-13

511

目前主流的应用软件产品包括ERP大部分是基于C/S架构开发的，所以软件的技术框架都是以满足局域网内的应用为主。基于C/S架构的应用因为响应速度快、操作界面的个性化、对复杂流程的适应快，在面世之初受到企业热捧。随着互联网的发展，这种传统的架构应用开始受到冲击。企业集团化的加强，分支机构的设立，使得围绕C/S架构应用的接入问题接踵而来。 C/S 架构应用陷入沼泽 C/S结构，即Client/Server(客户机/服务器)结构，通过将任务合理分配到Client端和Server端，充分利用两端硬件环境的优势，降低了系统的通讯开销。传统的C／S体系结构虽然采用的是开放模式，但这只是系统开发一级的开放性，在特定的应用中无论是Client端还是Server端都还需要特定的软件支持。由于没能提供用户真正期望的开放环境，C/S结构的软件需要针对不同的操作系统开发不同版本的软件，加之产品的更新换代十分快，已经很难适应百台电脑以上局域网用户同时使用，而且代价高，效率低。信息化的不断普及、管理软件的深入应用，ERP等软件的接入已经成为一个倍受关注的问题。企业分支机构的不断增多，包括渠道、合作伙伴、移动...

2017-11-13

623

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。