《Kafka成神之路》之三图搞懂分区、组消费模式-低调大师

《Kafka成神之路》之三图搞懂分区、组消费模式

2020-12-04 614

1 分区消费模式

直接由客户端(任一语言编写)使用Kafka提供的协议向服务器发送RPC请求获取数据，服务器接受到客户端的RPC请求后，将数据构造成RPC响应，返回给客户端，客户端解析相应的RPC响应获取数据。

Kafka支持的协议众多，使用比较重要的有：

获取消息的FetchRequest和FetchResponse
获取offset的OffsetRequest和OffsetResponse
提交offset的OffsetCommitRequest和OffsetCommitResponse
获取Metadata的Metadata Request 和 Metadata Response
生产消息的 ProducerRequest 和 ProducerResponse

1.1 分区消费模式服务器端源码过程

2 组消费者模式

2.1 流程

3 总结

3.1 分区消费模式特点

指定消费topic、partition和offset通过向服务器发送RPC请求进行消费
需要自己提交offset
需要自己处理各种错误，如:leader切换错误
需自行处理消费者负载均衡策略

3.2 组消费模式特点

最终也是通过向服务器发送RPC请求完成的(和分区消费模式一样)
组消费模式由Kafka服务器端处理各种错误，然后将消息放入队列再封装为迭代器(队列为FetchedDataChunk对象)，客户端只需在迭代器上迭代取出消息
由Kafka服务器端周期性的通过scheduler提交当前消费的offset，无需客户端负责
Kafka服务器端处理消费者负载均衡
监控工具Kafka Offset Monitor和Kafka Manager均是基于组消费模式

所以，尽可能使用组消费模式，除非需要

自己管理offset，比如想实现消息投递的其他语义
自己处理各种错误，根据自己业务的需求

本文转载自微信公众号「 JavaEdge」，可以通过以下二维码关注。转载本文请联系 JavaEdge公众号。

微信关注我们

原文链接：http://os.51cto.com/art/202012/633755.htm

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

网络安全意识培训怎么做？多位网络安全专家给建议！

网络“黑客”，想必大家都听说过吧，那网络安全意识培训的重要性就无需多言了。但很多企业在实践中却面临两难境地，力度小了，员工敷衍了事;力度大了，方式不对反而会起反作用，甚至会让网络安全意识培训在企业内部落下坏名声。网络安全意识培训怎么做？网络安全意识培训该如何进行呢?有没有让员工“印象深刻”同时又有参与积极性的方法呢? 看看多位网络安全专家给出的八大建议：一. 游戏化 Auth0安全与合规高级总监DuncanGodfrey表示，人们喜欢边做边学，安全部门需要创造既促进教育又激发兴奋的挑战。例如，内部漏洞搜寻不仅鼓励员工安全发现并报告漏洞，而且还可以识别公司基础架构中的威胁和严重错误。 Godfrey说：“这一挑战促进了员工之间的健康竞争，并在我们的日常工作中引入了令人兴奋但又富有成效的使命。发现严重漏洞的任何员工都会获得公司内部的名人堂荣誉以及Auth0赃物奖。” 第二个挑战是网上诱骗：要求员工“像黑客一样思考”，并尝试诈骗Auth0的网络安全文化经理。 Godfrey说：“这项以受控和安全的方式进行的挑战为我们的员工带来了一项有趣的任务，使他们能够更好地了解安全人员日常防御的各...

2020-12-04

693

故障症状有一个Centreon 单节点监控系统（不含分布式），隔三差五的挂掉，幸好我们安排人手，时不时访问web管理后台，才没出现大的纰漏。其主要症状是Poller失效，但系统其它进程比如Apache、PHP、Centreon-engine等运行正常。在Centreon Web管理界面重载（reload）或者重启（restart）cbd服务，无效；登录系统，执行指令systemctl start cbd ,也无效，只能重启系统，才能正常。因为这个Centreon 是部署在PVE（Proxmox VE）平台，以虚拟机形式承载的，相关人员不胜其烦，认为是PVE的问题，打算将其备份，然后恢复到PVE的其它物理节点。我想了一下，PVE上那么多虚拟机，虽然是其它应用，但都没出现问题，而且出问题是Centreon的一个应用cbd而已，与虚拟机本身的关系不大，应该另有原因。分析思路既然其它服务正常，那么我们就从有故障的cbd服务入手。找到cbd日志所在的目录，其完整路径为/var/log/centreon-broker,查看其下的文件，其大致情况如下：虽然日志文件很多，但能查到有用信息的文件...

2020-12-04

599

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。