面试官:说说Kafka处理请求的全流程
大家好,我是 yes。
这是我的第三篇Kafka源码分析文章,前两篇讲了日志段的读写和二分算法在kafka索引上的应用
今天来讲讲 Kafka Broker
端处理请求的全流程,剖析下底层的网络通信是如何实现的、Reactor
在kafka
上的应用。
再说说社区为何在2.3版本将请求类型划分成两大类,又是如何实现两类请求处理的优先级。
叨叨
不过在进入今天主题之前我想先叨叨几句,就源码这个事儿,不同人有不同的看法。
有些人听到源码这两个词就被吓到了,这么多代码怎么看。奔进去就像无头苍蝇,一路断点跟下来,跳来跳去,算了拜拜了您嘞。
而有些人觉得源码有啥用,看了和没看一样,看了也用不上。
其实上面两种想法我都有过,哈哈哈。那为什么我会开始看Kafka
源码呢?
其实就是我有个同事在自学go
,然后想用go写个消息队列,在画架构图的时候就来问我,这消息队列好像有点东西啊,消息收发,元数据管理,消息如何持久一堆问题过来,我直呼顶不住。
这市面上Kafka
、RocketMQ
都是现成的方案,于是乎我就看起了源码。
所以促使我看源码的初始动力,竟然是为了在同事前面装逼!!
我是先看了RocketMQ
,因为毕竟是Java
写的,而Kafka Broker
都是scala
写的。
梳理了一波RocketMQ
之后,我又想看看Kafka
是怎么做的,于是乎我又看起了Kafka
。
在源码分析之前我先总结性的说了说Kafka
底层的通信模型。应对面试官询问Kafka
请求全过程已经够了。
其实源码分析在手机上看效果欠佳,建议电脑端打开观看。
Reactor模式
在扯到Kafka
之前我们先来说说Reactor模式
,基本上只要是底层的高性能网络通信就离不开Reactor模式
。像Netty、Redis都是使用Reactor模式
。
像我们以前刚学网络编程的时候以下代码可是非常的熟悉,新来一个请求,要么在当前线程直接处理了,要么新起一个线程处理。
在早期这样的编程是没问题的,但是随着互联网的快速发展,单线程处理不过来,也不能充分的利用计算机资源。
而每个请求都新起一个线程去处理,资源的要求就太高了,并且创建线程也是一个重操作。
说到这有人想到了,那搞个线程池不就完事了嘛,还要啥Reactor
。
池化技术确实能缓解资源的问题,但是池子是有限的,池子里的一个线程不还是得候着某个连接,等待指示嘛。现在的互联网时代早已突破C10K
了。
因此引入的IO多路复用
,由一个线程来监视一堆连接,同步等待一个或多个IO事件的到来,然后将事件分发给对应的Handler
处理,这就叫Reactor模式
。
网络通信模型的发展如下
单线程 => 多线程 => 线程池 => Reactor模型
Kafka所采用的Reactor模型
如下
Kafka Broker 网络通信模型
简单来说就是,Broker 中有个Acceptor(mainReactor)
监听新连接的到来,与新连接建连之后轮询选择一个Processor(subReactor)
管理这个连接。
而Processor
会监听其管理的连接,当事件到达之后,读取封装成Request
,并将Request
放入共享请求队列中。
然后IO线程池不断的从该队列中取出请求,执行真正的处理。处理完之后将响应发送到对应的Processor
的响应队列中,然后由Processor
将Response
返还给客户端。
每个listener
只有一个Acceptor线程
,因为它只是作为新连接建连再分发,没有过多的逻辑,很轻量,一个足矣。
Processor
在Kafka中称之为网络线程,默认网络线程池有3个线程,对应的参数是num.network.threads
。并且可以根据实际的业务动态增减。
还有个 IO 线程池,即KafkaRequestHandlerPool
,执行真正的处理,对应的参数是num.io.threads
,默认值是 8。IO线程处理完之后会将Response
放入对应的Processor
中,由Processor
将响应返还给客户端。
可以看到网络线程和IO线程之间利用的经典的生产者 - 消费者模式,不论是用于处理Request的共享请求队列,还是IO处理完返回的Response。
这样的好处是什么?生产者和消费者之间解耦了,可以对生产者或者消费者做独立的变更和扩展。并且可以平衡两者的处理能力,例如消费不过来了,我多加些IO线程。
如果你看过其他中间件源码,你会发现生产者-消费者模式真的是太常见了,所以面试题经常会有手写一波生产者-消费者。
源码级别剖析网络通信模型
Kafka 网络通信组件主要由两大部分构成:
SocketServer 和 KafkaRequestHandlerPool。
SocketServer
可以看出SocketServer
旗下管理着,Acceptor 线程
、Processor 线程
和 RequestChannel
等对象。
data-plane
和control-plane
稍后再做分析,先看看RequestChannel
是什么。
RequestChannel
关键的属性和方法都已经在下面代码中注释了,可以看出这个对象主要就是管理Processor
和作为传输Request
和Response
的中转站。
Acceptor
接下来我们再看看Acceptor
可以看到它继承了AbstractServerThread
,接下来再看看它run些啥
再来看看accept(key)
做了啥
很简单,标准selector
的处理,获取准备就绪事件,调用serverSocketChannel.accept()
得到socketChannel
,将socketChannel
交给通过轮询选择出来的Processor
,之后由它来处理IO事件。
Processor
接下来我们再看看Processor
,相对而言比Acceptor
复杂一些。
先来看看三个关键的成员
再来看看主要的处理逻辑。
可以看到Processor
主要是将底层读事件IO数据封装成Request
存入队列中,然后将IO线程塞入的Response
,返还给客户端,并处理Response
的回调逻辑。
KafkaRequestHandlerPool
IO线程池,实际处理请求的线程。
再来看看IO线程都干了些啥
很简单,核心就是不断的从requestChannel
拿请求,然后调用handle处理请求。
handle
方法是位于KafkaApis
类中,可以理解为通过switch
,根据请求头里面不同的apikey
调用不同的handle
来处理请求。
我们再举例看下较为简单的处理LIST_OFFSETS
的过程,即handleListOffsetRequest
,来完成一个请求的闭环。
我用红色箭头标示了调用链。表明处理完请求之后是塞给对应的Processor
的。
最后再来个更详细的总览图,把源码分析到的类基本上都对应的加上去了。
请求处理优先级
上面提到的data-plane
和control-plane
是时候揭开面纱了。这两个对应的就是数据类请求和控制类请求。
为什么需要分两类请求呢?直接在请求里面用key标明请求是要读写数据啊还是更新元数据不就行了吗?
简单点的说比如我们想删除某个topic,我们肯定是想这个topic马上被删除的,而此时producer还一直往这个topic写数据。
那这个情况可能是我们的删除请求排在第N个...等前面的写入请求处理好了才轮到删除的请求。实际上前面那些往这个topic写入的请求都是没用的,平白的消耗资源。
再或者说进行Preferred Leader
选举时候,producer
将ack
设置为all
时候,老leader
还在等着follower
写完数据向他报告呢,谁知follower
已经成为了新leader
。
而通知它leader已经变更的请求由于被一堆数据类型请求堵着呢,老leader
就傻傻的在等着,直到超时。
就是为了解决这种情况,社区将请求分为两类。
那如何让控制类的请求优先被处理?优先队列?
社区采取的是两套Listener
,即数据类型一个listener
,控制类一个listener
。
对应的就是我们上面讲的网络通信模型,在kafka中有两套! kafka通过两套监听变相的实现了请求优先级,毕竟数据类型请求肯定很多,控制类肯定少,这样看来控制类肯定比大部分数据类型先被处理!
迂回战术啊。
控制类的和数据类区别就在于:就一个Porcessor线程
,并且请求队列写死的长度为20,社区觉得这样够了。
最后
看源码主要就是得耐心,耐心跟下去。然后再跳出来看。你会发现不过如此,哈哈哈。
前两篇由于授权给他人了,因此公众号上发不了,贴下连接,有兴趣的同学可以看下。
Kafka日志段读写分析:https://juejin.im/post/5ef6b94ae51d4534a1236cb0
Kafka索引在设计有什么亮点:https://juejin.im/post/5efdeae7f265da22d017e58d
— 【 THE END 】— 本公众号全部博文已整理成一个目录,请在公众号里回复「 m 」获取! 3T技术资源大放送!包括但不限于:Java、C/C++,Linux,Python,大数据,人工智能等等。在公众号内回复「1024」,即可免费获取!!
本文分享自微信公众号 - 程序员书单(CoderBooklist)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
在线教育崛起,线下培训机构搭建在线网校系统有哪些方案
互联网技术的崛起使得学习不再局限于教室,旅游、坐车、闲暇等碎片化时间都可用于获取知识。如今的互联网基础已搭建完成,在整个商业大环境进入转型的局势下各行业也都面临转型的挑战。一边是传统企业发展的增长瓶颈,一边是互联网浪潮带来的机会。一个是面向小范围的地区性用户,一个是面向全国甚至全球用户,在强大的互联网链接能力下你会怎么做选择。 在越来越追求效率的今天,用户已经帮企业作出了回答。例如传统线下的教培行业,在线上教学平台和教学工具越来越完善之后,大家就会选择更便捷的方式来获取知识。区别于线下上课在线教育抓住了用户业余学习的痛点,讲师可在业余时间将专业领域的知识整理成视频或在空余时间做直播教学,将业余时间的收益最大化。学员在平台上一次性付费后可随时随地打开学习,将时间利用最大化。 面对新教育趋势企业需要怎样迈出转型这一步,又该如何搭建在线教育平台? 首先线上学习的场景、设备和时间这些都是不固定的,想要模拟线下教学场景必须在满足学员多样化选择的同时结合视频直播支持讲师与学员实时互动的教学体验。因此在线学习系统需支持视频点播和实时直播两大块在线教学功能,搭配在线考试及题库练习,营销分销等。 ...
- 下一篇
技术分享 | MySQL 使用 MariaDB 审计插件
作者:姚远 专注于 Oracle、MySQL 数据库多年,Oracle 10G 和 12C OCM,MySQL 5.6 ,5.7,8.0 OCP。现在鼎甲科技任顾问,为同事和客户提高数据库培训和技术支持服务。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 背景 Oracle 的 MySQL 社区版不带审计插件(Audit Plugin),要想使用审计功能,你可以用企业版,不过这需要银子。业界还有一些 GPL 协议的审计插件,这里我们选择 MariaDB 的审计插件。 一、迁移并安装 MariaDB 的 10.1 版本对应与 Oracle 的 MySQL 5.7,我们到它的官网上下载 Linux 的通用版本,下载下来解压大约 1.3G: # ll -h mariadb-10.1.46-linux-x86_64.tar -rw-rw-r-- 1 scutech scutech 1.3G Aug 19 18:19 mariadb-10.1.46-linux-x86_64.tar 我们找到需要的审计插件: ./mariadb-10.1.46...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- Windows10,CentOS7,CentOS8安装Nodejs环境
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Docker安装Oracle12C,快速搭建Oracle学习环境