Go 自带的 http/server.go 的连接解析 与 如何结合 master-worker 并发模式,提高单机并发能力
作者:林冠宏 / 指尖下的幽灵
GitHub : https://github.com/af913337456/
腾讯云专栏: https://cloud.tencent.com/developer/user/1148436/activities
关于
server.go
源码的解析可以去搜下,已经有很多且还不错的文章。
正文:
从我们启动http.ListenAndServe(port,router)
开始,server.go
内部最终在一个for
循环中的 accept
方法中不停地等待客户端
的连接到来。
每接收到一个accept
就启动一个 gorutine
去处理当前ip
的连接。也就是源码里的go c.serve(ctx)
。这一个步骤在 c.serve(ctx)
它并不是简单的形式:
请求-->处理请求-->返回结果-->断开这个连接-->结束当前的 gorutine
根据我的调试结果
与源码分析
显示,正确的形式是下面这样的:
为每一个连接的用户启动了一个长连接,
serve
方法内部有个超时的设置是c.rwc.SetReadDeadline(time.Time{})
,这样子的情况,如果内部不出错,当前的连接断开的条件是客户端
自己断开,或nat
超时。这个连接建立后,以
ip
为单位,当前的客户端
,此时它的所有http请求
,例如get
,post
,它们都会在这个启动的gorutine
内进行分发
与被处理
。也就是说,同一个
ip
,多个不同的
请求,这里不会触发另一个accept
,不会再去启动一个go c.serve(ctx)
上述我们得出结论:
如果有
100万
个accept
,就证明有100万
个连接,100万
个ip
与当前server
连接。即是我们说的百万连接
百万连接
不是百万请求
每一个连接,它可以进行多个
http请求
,它的请求都在当前启动这个连接的gorutine
里面进行。-
c.serve(...)
源码中的for 死循环
就是负责读取每个请求再分发for { w, err := c.readRequest(ctx) // 读取一个 http 请求 //... ServeHTTP(...) }
我们的
100万
连接里面,有可能并发更多的请求,例如几百万请求,一个客户端
快速调用多个请求api
图解总结
结合 master-worker 并发模式
根据我们上面的分析,每一个新连接到来,go 就会启动一个 gorutine
,在源码里面也没有看到有一个量级的限制,也就是达到多少连接就不再接收。我们也知道,服务器是有处理瓶颈的。
所以,在这里插播一个优化点
,就是在server.go
内部做一个连接数目的限制。
master-worker
模式本身是启动多个worker
线程,去并发读取
有界队列里面的任务,并执行。
我自身已经实现了一个go版本
的master-worker
,做过下面的尝试:
- 在
go c.serve(ctx)
处做修改,如下。
if srv.masterWorkerModel { // lgh --- way to execute PoolMaster.AddJob( masterworker.Job{ Tag:" http server ", Handler: func() { c.serve(ctx) fmt.Println("finish job") // 这一句在当前 ip 断开连接后才会输出 }, }) }else{ go c.serve(ctx) } func (m Master) AddJob(job Job) { fmt.Println("add a job ") m.JobQueue <- job // jobQueue 是具备缓冲的 }
// worker func (w Worker) startWork(master *Master) { go func() { for { select { case job := <-master.JobQueue: job.doJob(master) } } }() }
// job func (j Job) doJob(master *Master) { go func() { fmt.Println(j.Tag+" --- doing job...") j.Handler() }() }
不难理解它的模式。
现在我们使用生产者--消费者模式
进行假设,连接的产生
是生产者
,<-master.JobQueue
是消费者
,因为每一次消费就是启动一个处理的gorutine
。
因为我们在accept
一个请求到<-master.JobQueue
,管道输出一个的这个过程中,可以说是没有耗时操作的,这个job
,它很快就被输出了管道。也就是说,消费很快
,那么实际的生产环境
中,我们的worker
工作协程
启动5~10
个就有余了。
考虑如果出现了消费跟不上
的情况,那么多出来的job
将会被缓冲到channel
里面。这种情况可能出现的情景是:
短时间十万+级别连接的建立,就会导致
worker
读取不过来。不过,即使发生了,也是很快就取完的。因为间中的耗时几乎可以忽略不计!
也就说,短时间
大量连接的建立,它的瓶颈在队列的缓冲数
。但是即使瓶颈发生了,它又能很快被分发处理掉。所以说:
-
我的这个第一点的尝试的意义事实上没有多大的。只不过是换了一种方式去分发
go c.serve(ctx)
。
- 这个是第二种结合方式,把
master-worker
放置到ServeHTTP
的分发阶段。例如下面代码,是常见的http handler
写法,我们就可以嵌套进去。
func (x XHandler) ServeHTTP(w http.ResponseWriter, r *http.Request) { //... if x.MasterWorker { poolMaster.AddJob(master_worker.Job{ Tag:"normal", XContext:xc, Handler: func(context model.XContext) { x.HandleFunc(w,r) }, }) return } x.HandleFunc(w,r) //... }
这样的话,我们就能控制所有连接的并发请求最大数。超出的将会进行排队,等待被执行,而不会因为短时间 http 请求数目不受控暴增
而导致服务器
挂掉。
此外上述第二种
还存在一个:读,过早关闭问题
,这个留给读者尝试解决。
如果您认为这篇文章还不错或者有所收获,您可以通过扫描一下下面的支付宝二维码 打赏我一杯咖啡【物质支持】,也可以点击右下角的【推荐】按钮【精神支持】,因为这两种支持都是我继续写作,分享的最大动力
、低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
.Net中Remoting通信机制简单实例
原文:.Net中Remoting通信机制简单实例 .Net中Remoting通信机制 前言: 本程序例子实现一个简单的Remoting通信案例 本程序采用语言:c# 编译工具:vs2013工程文件 编译环境:.net 4.0 程序模块: Test测试 Talker Server端 Client端 源代码工程文件下载 Test测试程序截图: Talker类: 1 public class Talker : MarshalByRefObject 2 { 3 public void Talk(string word) 4 { 5 System.Console.WriteLine(word); 6 } 7 8 } Server端: 1 //注册通道 2 TcpServerChannel channel = new TcpServerChannel("TalkChannel",8090); 3 ChannelServices.RegisterChannel(channel,true); 4 5 //注册远程对象 6 RemotingConfiguration.RegisterWellKno...
- 下一篇
教你用机器学习匹配导师 !(附代码)
在顶点课程中我们组被分配到一个非营利机构,这个机构帮助青年学生和科技领域中的专业人士建立联系,目的在于提升在校学生对科技产业的参与度(译者注:顶点课程capstone project是美国大学高年级学生的环节,类似于中国大学的毕业设计)。学生要和导师(专业人士)配对,导师与学生会面并带他们了解这个行业。每次会面后,学生和导师都需要对会面进行评分。满分是5分,1分是最低分。 这个机构根据学生的评分来衡量会面是否成功,因此他们想了解哪些特征和变量会提升评分。一旦有这些东西,我们就可以构建一个算法来匹配学生和导师,并生成一个在线图表界面进行可视化展示。 我们计划用Python完成算法和实现展示。 首先,我们进行数据清洗并定义语料库(Corpus),随后借助逻辑回归来识别重要特征,接着我们构建了匹配得分和分配算法,最终将所有内容打包并放到Fl
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS6,CentOS7官方镜像安装Oracle11G
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Windows10,CentOS7,CentOS8安装Nodejs环境
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Hadoop3单机部署,实现最简伪集群