【Go专家编程】一文搞懂go.sum工作机制
为了确保一致性构建,Go引入了go.mod
文件来标记每个依赖包的版本,在构建过程中go
命令会下载go.mod
中的依赖包,下载的依赖包会缓存在本地,以便下次构建。 考虑到下载的依赖包有可能是被黑客恶意篡改的,以及缓存在本地的依赖包也有被篡改的可能,单单一个go.mod
文件并不能保证一致性构建。
为了解决Go module的这一安全隐患,Go开发团队在引入go.mod
的同时也引入了go.sum
文件,用于记录每个依赖包的哈希值,在构建时,如果本地的依赖包hash值与go.sum
文件中记录得不一致,则会拒绝构建。
本节暂不对模块校验细节展开介绍,只从日常应用层面介绍:
- go.sum 文件记录含义
- go.sum文件内容是如何生成的
- go.sum是如何保证一致性构建的
go.sum文件记录
go.sum
文件中每行记录由module
名、版本和哈希组成,并由空格分开:
<module> <version>[/go.mod] <hash>
比如,某个go.sum
文件中记录了github.com/google/uuid
这个依赖包的v1.1.1
版本的哈希值:
github.com/google/uuid v1.1.1 h1:Gkbcsh/GbpXz7lPftLA3P6TYMwjCLYm83jiFQZF/3gY= github.com/google/uuid v1.1.1/go.mod h1:TIyPZe4MgqvfeYDBFedMoGGpEw/LqOeaOT+nhxU+yHo=
在Go module机制下,我们需要同时使用依赖包的名称和版本才可以准确的描述一个依赖,为了方便叙述,下面我们使用依赖包版本
来指代依赖包名称和版本。
正常情况下,每个依赖包版本
会包含两条记录,第一条记录为该依赖包版本
整体(所有文件)的哈希值,第二条记录仅表示该依赖包版本
中go.mod
文件的哈希值,如果该依赖包版本
没有go.mod
文件,则只有第一条记录。如上面的例子中,v1.1.1
表示该依赖包版本
整体,而v1.1.1/go.mod
表示该依赖包版本
中go.mod
文件。
依赖包版本
中任何一个文件(包括go.mod
)改动,都会改变其整体哈希值,此处再额外记录依赖包版本
的go.mod
文件主要用于计算依赖树时不必下载完整的依赖包版本
,只根据go.mod
即可计算依赖树。
每条记录中的哈希值前均有一个表示哈希算法的h1:
,表示后面的哈希值是由算法SHA-256
计算出来的,自Go module从v1.11版本初次实验性引入,直至v1.14 ,只有这一个算法。
此外,细心的读者或许会发现go.sum
文件中记录的依赖包版本
数量往往比go.mod
文件中要多,这是因为二者记录的粒度不同导致的。go.mod
只需要记录直接依赖的依赖包版本
,只在依赖包版本
不包含go.mod
文件时候才会记录间接依赖包版本
,而go.sum
则是要记录构建用到的所有依赖包版本
。
生成
假设我们在开发某个项目,当我们在GOMODULE模式下引入一个新的依赖时,通常会使用go get
命令获取该依赖,比如:
go get github.com/google/uuid@v1.0.0
go get
命令首先会将该依赖包下载到本地缓存目录$GOPATH/pkg/mod/cache/download
,该依赖包为一个后缀为.zip
的压缩包,如v1.0.0.zip
。go get
下载完成后会对该.zip
包做哈希运算,并将结果存放在后缀为.ziphash
的文件中,如v1.0.0.ziphash
。如果在项目的根目录中执行go get
命令的话,go get
会同步更新go.mod
和go.sum
文件,go.mod
中记录r 的是依赖名及其版本,如:
require ( github.com/google/uuid v1.0.0 )
go.sum
文件中则会记录依赖包的哈希值(同时还有依赖包中go.mod的哈希值),如:
github.com/google/uuid v1.0.0 h1:b4Gk+7WdP/d3HZH8EJsZpvV7EtDOgaZLtnaNGIu1adA= github.com/google/uuid v1.0.0/go.mod h1:TIyPZe4MgqvfeYDBFedMoGGpEw/LqOeaOT+nhxU+yHo=
值得一提的是,在更新go.sum
之前,为了确保下载的依赖包是真实可靠的,go
命令在下载完依赖包后还会查询GOSUMDB
环境变量所指示的服务器,以得到一个权威的依赖包版本
哈希值。如果go
命令计算出的依赖包版本
哈希值与GOSUMDB
服务器给出的哈希值不一致,go
命令将拒绝向下执行,也不会更新go.sum
文件。
go.sum
存在的意义在于,我们希望别人或者在别的环境中构建当前项目时所使用依赖包跟go.sum
中记录的是完全一致的,从而达到一致构建的目的。
校验
假设我们拿到某项目的源代码并尝试在本地构建,go
命令会从本地缓存中查找所有go.mod
中记录的依赖包,并计算本地依赖包的哈希值,然后与go.sum
中的记录进行对比,即检测本地缓存中使用的依赖包版本
是否满足项目go.sum
文件的期望。
如果校验失败,说明本地缓存目录中依赖包版本
的哈希值和项目中go.sum
中记录的哈希值不一致,go
命令将拒绝构建。 这就是go.sum
存在的意义,即如果不使用我期望的版本,就不能构建。
当校验失败时,有必要确认到底是本地缓存错了,还是go.sum
记录错了。 需要说明的是,二者都可能出错,本地缓存目录中的依赖包版本
有可能被有意或无意地修改过,项目中go.sum
中记录的哈希值也可能被篡改过。
当校验失败时,go
命令倾向于相信go.sum
,因为一个新的依赖包版本
在被添加到go.sum
前是经过GOSUMDB
(校验和数据库)验证过的。此时即便系统中配置了GOSUMDB
(校验和数据库),go
命令也不会查询该数据库。
校验和数据库
环境变量GOSUMDB
标识一个checksum database
,即校验和数据库,实际上是一个web服务器,该服务器提供查询依赖包版本
哈希值的服务。
该数据库中记录了很多依赖包版本
的哈希值,比如Google官方的sum.golang.org
则记录了所有的可公开获得的依赖包版本
。除了使用官方的数据库,还可以指定自行搭建的数据库,甚至干脆禁用它(export GOSUMDB=off
)。
如果系统配置了GOSUMDB
,在依赖包版本
被写入go.sum
之前会向该数据库查询该依赖包版本
的哈希值进行二次校验,校验无误后再写入go.sum
。
如果系统禁用了GOSUMDB
,在依赖包版本
被写入go.sum
之前则不会进行二次校验,go
命令会相信所有下载到的依赖包,并把其哈希值记录到go.sum
中。
参考文档
- 命令行帮助文档(go 1.14):
$ go help module-auth
- Go 1.14 源码
赠人玫瑰手留余香,如果觉得不错请给个赞~
本篇文章已归档到GitHub项目,求星~ 点我即达
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
FBI透露,近六年里支付给勒索攻击者的赎金超过1.4亿美金
在本周的RSA 2020会议上,FBI特别探员Joel DeCapua分享了关于勒索软件相关的话题。FBI通过私人分享或者VirusTotal等渠道收集比特币钱包和赎金记录,来统计近六年来受害者支付了多少赎金。 据DeCapua的数据,在2013年1月10日至2019年7月11日期间,大约有价值144350000万美元的比特币支付给了勒索软件攻击者,这损失并不包括与攻击相关的运营成本,而是纯粹的赎金支付。 通过分析获得赎金的勒索软件家族,Ryuk以总计6126万美元的赎金收入脱颖而出。排在第二位的是Crosis/Dharma,收入为2448万美元,其次为Bitpaymer,收入为804万美元。 需要注意的是,全球范围内在过去六年里,因勒索攻击造成的实际支付赎金必定远超FBI所统计的数字,因为有大量赎金记录和加密货币钱包是无法获取到的。其次,很多公司对勒索攻击事件实行严格保密,以防影响股价。 Joel DeCapua在RSA 2020 演讲实录:https://v.qq.com/x/page/b30739kvjg6.html FBI提供勒索软件防御技巧 在DeCapua的分享中,还提供了...
- 下一篇
多线程进阶——JUC并发编程之CountDownLatch源码一探究竟?
1、学习切入点 JDK的并发包中提供了几个非常有用的并发工具类。 CountDownLatch、 CyclicBarrier和 Semaphore工具类提供了一种并发流程控制的手段。本文将介绍CountDownLatch(闭锁)的实现原理。在了解闭锁之前需要先了解AQS,因为CountDownLatch的实现需要依赖于AQS共享锁的实现机制。 官方文档: https://docs.oracle.com/javase/8/docs/api/ 百度翻译如下: 一种同步辅助程序,允许一个或多个线程等待在其它线程中执行的一组操作完成。使用给定的计数初始化CountDownLatch。由于调用了countDown()方法,await方法阻塞直到当前计数为零,之后释放所有等待线程,并立即返回await的任何后续调用。这是一个一次性现象——计数不能重置。如果需要重置计数的版本,请考虑使用CyclicBarrier。倒计时锁存器是一种通用的同步工具,可用于多种目的。使用计数1初始化的倒计时锁存器用作简单的开/关锁存器或门:调用倒计时()的线程打开它之前,调用它的所有线程都在门处等待。初始化为N的倒计时...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS关闭SELinux安全模块
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Mario游戏-低调大师作品
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS8编译安装MySQL8.0.19
- MySQL8.0.19开启GTID主从同步CentOS8