Go WaitGroup实现原理
1 前言
WaitGroup是Golang应用开发过程中经常使用的并发控制技术。
WaitGroup,可理解为Wait-Goroutine-Group,即等待一组goroutine结束。比如某个goroutine需要等待其他几个goroutine全部完成,那么使用WaitGroup可以轻松实现。
下面程序展示了一个goroutine等待另外两个goroutine结束的例子:
package main import ( "fmt" "time" "sync" ) func main() { var wg sync.WaitGroup wg.Add(2) //设置计数器,数值即为goroutine的个数 go func() { //Do some work time.Sleep(1*time.Second) fmt.Println("Goroutine 1 finished!") wg.Done() //goroutine执行结束后将计数器减1 }() go func() { //Do some work time.Sleep(2*time.Second) fmt.Println("Goroutine 2 finished!") wg.Done() //goroutine执行结束后将计数器减1 }() wg.Wait() //主goroutine阻塞等待计数器变为0 fmt.Printf("All Goroutine finished!") }
简单的说,上面程序中wg内部维护了一个计数器:
- 启动goroutine前将计数器通过Add(2)将计数器设置为待启动的goroutine个数。
- 启动goroutine后,使用Wait()方法阻塞自己,等待计数器变为0。
- 每个goroutine执行结束通过Done()方法将计数器减1。
- 计数器变为0后,阻塞的goroutine被唤醒。
其实WaitGroup也可以实现一组goroutine等待另一组goroutine,这有点像玩杂技,很容出错,如果不了解其实现原理更是如此。实际上,WaitGroup的实现源码非常简单。
2 基础知识
2.1 信号量
信号量是Unix系统提供的一种保护共享资源的机制,用于防止多个线程同时访问某个资源。
可简单理解为信号量为一个数值:
- 当信号量>0时,表示资源可用,获取信号量时系统自动将信号量减1;
- 当信号量==0时,表示资源暂不可用,获取信号量时,当前线程会进入睡眠,当信号量为正时被唤醒;
由于WaitGroup实现中也使用了信号量,在此做个简单介绍。
3 WaitGroup
3.1 数据结构
源码包中src/sync/waitgroup.go:WaitGroup
定义了其数据结构:
type WaitGroup struct { state1 [3]uint32 }
state1是个长度为3的数组,其中包含了state和一个信号量,而state实际上是两个计数器:
- counter: 当前还未执行结束的goroutine计数器
- waiter count: 等待goroutine-group结束的goroutine数量,即有多少个等候者
- semaphore: 信号量
考虑到字节是否对齐,三者出现的位置不同,为简单起见,依照字节已对齐情况下,三者在内存中的位置如下所示:
WaitGroup对外提供三个接口:
- Add(delta int): 将delta值加到counter中
- Wait(): waiter递增1,并阻塞等待信号量semaphore
- Done(): counter递减1,按照waiter数值释放相应次数信号量
下面分别介绍这三个函数的实现细节。
3.2 Add(delta int)
Add()做了两件事,一是把delta值累加到counter中,因为delta可以为负值,也就是说counter有可能变成0或负值,所以第二件事就是当counter值变为0时,跟据waiter数值释放等量的信号量,把等待的goroutine全部唤醒,如果counter变为负值,则panic.
Add()伪代码如下:
func (wg *WaitGroup) Add(delta int) { statep, semap := wg.state() //获取state和semaphore地址指针 state := atomic.AddUint64(statep, uint64(delta)<<32) //把delta左移32位累加到state,即累加到counter中 v := int32(state >> 32) //获取counter值 w := uint32(state) //获取waiter值 if v < 0 { //经过累加后counter值变为负值,panic panic("sync: negative WaitGroup counter") } //经过累加后,此时,counter >= 0 //如果counter为正,说明不需要释放信号量,直接退出 //如果waiter为零,说明没有等待者,也不需要释放信号量,直接退出 if v > 0 || w == 0 { return } //此时,counter一定等于0,而waiter一定大于0(内部维护waiter,不会出现小于0的情况), //先把counter置为0,再释放waiter个数的信号量 *statep = 0 for ; w != 0; w-- { runtime_Semrelease(semap, false) //释放信号量,执行一次释放一个,唤醒一个等待者 } }
3.3 Wait()
Wait()方法也做了两件事,一是累加waiter, 二是阻塞等待信号量
func (wg *WaitGroup) Wait() { statep, semap := wg.state() //获取state和semaphore地址指针 for { state := atomic.LoadUint64(statep) //获取state值 v := int32(state >> 32) //获取counter值 w := uint32(state) //获取waiter值 if v == 0 { //如果counter值为0,说明所有goroutine都退出了,不需要待待,直接返回 return } // 使用CAS(比较交换算法)累加waiter,累加可能会失败,失败后通过for loop下次重试 if atomic.CompareAndSwapUint64(statep, state, state+1) { runtime_Semacquire(semap) //累加成功后,等待信号量唤醒自己 return } } }
这里用到了CAS算法保证有多个goroutine同时执行Wait()时也能正确累加waiter。
3.4 Done()
Done()只做一件事,即把counter减1,我们知道Add()可以接受负值,所以Done实际上只是调用了Add(-1)。
源码如下:
func (wg *WaitGroup) Done() { wg.Add(-1) }
Done()的执行逻辑就转到了Add(),实际上也正是最后一个完成的goroutine把等待者唤醒的。
4 编程Tips
- Add()操作必须早于Wait(), 否则会panic
- Add()设置的值必须与实际等待的goroutine个数一致,否则会panic
赠人玫瑰手留余香,如果觉得不错请给个赞~
本篇文章已归档到GitHub项目,求星~ 点我即达
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
带你走进java集合之ConcurrentHashMap
一、概述 上一篇文章《带你走进java集合之HashMap》分析了HashMap的实现原理,重点分析了HashMap是怎么样的一种数据结构,以及如何去插入,查询,扩容等操作。相信经过上一篇文章的学习,大家应该对HashMap有了一定的了解,但是我们知道HashMap是一个线程不安全的集合,在多线程情况下使用HashMap会有很多问题,那么我们如何使用一个线程安全的HashMap呢,接下来我们就介绍一个线程安全的Map,ConcurrentHashMap,我们来看看这个线程安全的Map道理如何使用,又是如何实现的。 二、HashMap和ConcurrentHashMap的对比 我们用一段代码证明下HashMap的线程不安全,以及ConcurrentHashMap的线程安全性。代码逻辑很简单,开启10000个线程,每个线程做很简单的操作,就是put一个key,然后删除一个key,理论上线程安全的情况下,最后map的size()肯定为0。 Map<Object,Object> myMap=new HashMap<>(); // ConcurrentHashMap my...
- 下一篇
Dubbo (三)源码分析 —— 架构原理
1 核心功能 首先要了解Dubbo提供的三大核心功能: Remoting:远程通讯 提供对多种NIO框架抽象封装,包括“同步转异步”和“请求-响应”模式的信息交换方式。 Cluster: 服务框架 提供基于接口方法的透明远程过程调用,包括多协议支持,以及软负载均衡,失败容错,地址路由,动态配置等集群支持。 Registry: 服务注册中心 基于注册中心目录服务,使服务消费方能动态的查找服务提供方,使地址透明,使服务提供方可以平滑增加或减少机器。 2 Dubbo各个组件之间的关系结构 2.1 调用关系 节点角色说明 节点 角色说明 Provider 暴露服务的服务提供方 Consumer 调用远程服务的服务消费方 Registry 服务注册与发现的注册中心 Monitor 统计服务的调用次数和调用时间的监控中心 Container 服务运行容器 2.2 依赖关系 图例说明: 图中小方块 Protocol, Cluster, Proxy, Service, Container, Registry, Monitor 代表层或模块,蓝色的表示与业务有交互,绿色的表示只对 Dubbo 内部交互。...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- Red5直播服务器,属于Java语言的直播服务器