《Kafka成神之路》之三图搞懂分区、组消费模式
1 分区消费模式
直接由客户端(任一语言编写)使用Kafka提供的协议向服务器发送RPC请求获取数据,服务器接受到客户端的RPC请求后,将数据构造成RPC响应,返回给客户端,客户端解析相应的RPC响应获取数据。
Kafka支持的协议众多,使用比较重要的有:
- 获取消息的FetchRequest和FetchResponse
- 获取offset的OffsetRequest和OffsetResponse
- 提交offset的OffsetCommitRequest和OffsetCommitResponse
- 获取Metadata的Metadata Request 和 Metadata Response
- 生产消息的 ProducerRequest 和 ProducerResponse
1.1 分区消费模式服务器端源码过程
2 组消费者模式
2.1 流程
3 总结
3.1 分区消费模式特点
- 指定消费topic、partition和offset通过向服务 器发送RPC请求进行消费
- 需要自己提交offset
- 需要自己处理各种错误,如:leader切换错误
- 需自行处理消费者负载均衡策略
3.2 组消费模式特点
- 最终也是通过向服务器发送RPC请求完成的(和分区消费模式一样)
- 组消费模式由Kafka服务器端处理各种错误,然后将消息放入队列再封装为迭代器(队列为FetchedDataChunk对象),客户端只需在迭代器上迭代取出消息
- 由Kafka服务器端周期性的通过scheduler提交当前消费的offset,无需客户端负责
- Kafka服务器端处理消费者负载均衡
- 监控工具Kafka Offset Monitor和Kafka Manager均是基于组消费模式
所以,尽可能使用组消费模式,除非需要
- 自己管理offset,比如想实现消息投递的其他语义
- 自己处理各种错误,根据自己业务的需求
本文转载自微信公众号「 JavaEdge」,可以通过以下二维码关注。转载本文请联系 JavaEdge公众号。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
网络安全意识培训怎么做?多位网络安全专家给建议!
网络“黑客”,想必大家都听说过吧,那网络安全意识培训的重要性就无需多言了。但很多企业在实践中却面临两难境地,力度小了,员工敷衍了事;力度大了,方式不对反而会起反作用,甚至会让网络安全意识培训在企业内部落下坏名声。 网络安全意识培训怎么做? 网络安全意识培训该如何进行呢?有没有让员工“印象深刻”同时又有参与积极性的方法呢? 看看多位网络安全专家给出的八大建议: 一. 游戏化 Auth0安全与合规高级总监DuncanGodfrey表示,人们喜欢边做边学,安全部门需要创造既促进教育又激发兴奋的挑战。 例如,内部漏洞搜寻不仅鼓励员工安全发现并报告漏洞,而且还可以识别公司基础架构中的威胁和严重错误。 Godfrey说:“这一挑战促进了员工之间的健康竞争,并在我们的日常工作中引入了令人兴奋但又富有成效的使命。发现严重漏洞的任何员工都会获得公司内部的名人堂荣誉以及Auth0赃物奖。” 第二个挑战是网上诱骗:要求员工“像黑客一样思考”,并尝试诈骗Auth0的网络安全文化经理。 Godfrey说:“这项以受控和安全的方式进行的挑战为我们的员工带来了一项有趣的任务,使他们能够更好地了解安全人员日常防御的各...
- 下一篇
Centreon Poller 间隙性停止故障排错实录
故障症状 有一个Centreon 单节点监控系统(不含分布式),隔三差五的挂掉,幸好我们安排人手,时不时访问web管理后台,才没出现大的纰漏。其主要症状是Poller失效,但系统其它进程比如Apache、PHP、Centreon-engine等运行正常。在Centreon Web管理界面重载(reload)或者重启(restart)cbd服务,无效;登录系统,执行指令systemctl start cbd ,也无效,只能重启系统,才能正常。因为这个Centreon 是部署在PVE(Proxmox VE)平台,以虚拟机形式承载的,相关人员不胜其烦,认为是PVE的问题,打算将其备份,然后恢复到PVE的其它物理节点。我想了一下,PVE上那么多虚拟机,虽然是其它应用,但都没出现问题,而且出问题是Centreon的一个应用cbd而已,与虚拟机本身的关系不大,应该另有原因。 分析思路 既然其它服务正常,那么我们就从有故障的cbd服务入手。找到cbd日志所在的目录,其完整路径为/var/log/centreon-broker,查看其下的文件,其大致情况如下: 虽然日志文件很多,但能查到有用信息的文件...
相关文章
文章评论
共有0条评论来说两句吧...