每日一博 | Kafka 再平衡机制详解
所谓的再平衡,指的是在kafka consumer所订阅的topic发生变化时发生的一种分区重分配机制。一般有三种情况会触发再平衡: consumer group中的新增或删除某个consumer,导致其所消费的分区需要分配到组内其他的consumer上; consumer订阅的topic发生变化,比如订阅的topic采用的是正则表达式的形式,如test-*此时如果有一个新建了一个topic test-user,那么这个topic的所有分区也是会自动分配给当前的consumer的,此时就会发生再平衡; consumer所订阅的topic发生了新增分区的行为,那么新增的分区就会分配给当前的consumer,此时就会触发再平衡。 Kafka提供的再平衡策略主要有三种:Round Robin,Range和Sticky,默认使用的是Range。这三种分配策略的主要区别在于: Round Robin:会采用轮询的方式将当前所有的分区依次分配给所有的consumer; Range:首先会计算每个consumer可以消费的分区个数,然后按照顺序将指定个数范围的分区分配给各个consumer; Sti...



