Kafka consumer rebalance解析-低调大师

Kafka consumer rebalance解析

2017-11-12 599 89

线上使用Kafka0.72+Flume-ng 1.4的消息架构；流入到HDFS使用的Flume根据容量分析使用率太低了，决定从8个实例缩减到4个实例，在down实例的过程中的消息流入量per sec如下图：

这个Kafka的Topic共有10个partitions；在down实例的时候发生了一些抖动，不过是十分有规律并且可以预测的.

kafka的rebalance assigment是固定的；将partition按照consumer的label排序，然后进行取模分配：即第m个partition，如果一个consumer group有n个consumers，则分配到给第（m mod n）个consumer；其实根据这个算法完全可以预测出上图的波动了.另外，根据该算法，如果consumer的个数大于partition的数目那么多余的consumer不会消费到消息(https://issues.apache.org/jira/browse/KAFKA-687https://issues.apache.org/jira/browse/KAFKA-564)；

不过，kafka的rebalance算法在0.8还是不成熟的：最明显的当属herd effect了；每当一个consumer加入或者删除，或者partition增加或者减少都会导致所有的consumer进行一次rebalance操作；0.9对rebalance做了新的design(https://issues.apache.org/jira/browse/KAFKA-264)引入了consumer co-ordination.

本文转自MIKE老毕 51CTO博客，原文链接：http://blog.51cto.com/boylook/1300306，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/476852

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017-11-13 00:00:00

Empirix e-Test Suite 8.01

e-test是一款功能强大、简单易用的网站测试解决方案，可有效确保企业级web应用程序、.net应用程序、java应用程序、web service，以及如siebel, peoplesoft 等公司出品的应用程序的性能和可靠性。e-test使你更加自信的配置这些应用程序。此外，这套软件还集成了测试工具和过程管理软件，包含了为客户提供高质量体验所需的一切。由empirix公司开发的e-test suite测试软件是当前优秀的易于使用、并能够和被测试应用无缝结合的web应用测试工具。该产品由三部分组成：e-tester、e-load和e-monitor，这三种工具分别适用于应用功能测试、压力测试以及应用监控，每一部分的功能相互独立，测试过程中又可以彼此协同，从多方面保障了web应用的成功。 e-tester：面对时刻都有可能变化的web应用，e-tester能自动测试每星期、甚至每天都在变化着的web应用程序。它可以记录下测试过程中所访问的每一页面上的所有对象，并以图形化的方式呈现，从而任何差异都可以被凸显出来，以此来测试web应用的功能。 e-load：web应用程序的主要好处之一是允...

496

2017-11-13 00:00:00

C/S转B/S:应用软件架构困局的新出路?

目前主流的应用软件产品包括ERP大部分是基于C/S架构开发的，所以软件的技术框架都是以满足局域网内的应用为主。基于C/S架构的应用因为响应速度快、操作界面的个性化、对复杂流程的适应快，在面世之初受到企业热捧。随着互联网的发展，这种传统的架构应用开始受到冲击。企业集团化的加强，分支机构的设立，使得围绕C/S架构应用的接入问题接踵而来。 C/S 架构应用陷入沼泽 C/S结构，即Client/Server(客户机/服务器)结构，通过将任务合理分配到Client端和Server端，充分利用两端硬件环境的优势，降低了系统的通讯开销。传统的C／S体系结构虽然采用的是开放模式，但这只是系统开发一级的开放性，在特定的应用中无论是Client端还是Server端都还需要特定的软件支持。由于没能提供用户真正期望的开放环境，C/S结构的软件需要针对不同的操作系统开发不同版本的软件，加之产品的更新换代十分快，已经很难适应百台电脑以上局域网用户同时使用，而且代价高，效率低。信息化的不断普及、管理软件的深入应用，ERP等软件的接入已经成为一个倍受关注的问题。企业分支机构的不断增多，包括渠道、合作伙伴、移动...

609

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。