您现在的位置是:首页 > 文章详情

【Go专家编程】5分钟玩转go.sum

日期:2020-02-23点击:1451

为了确保一致性构建,Go引入了go.mod文件来标记每个依赖包的版本,在构建过程中go命令会下载go.mod中的依赖包,下载的依赖包会缓存在本地,以便下次构建。 考虑到下载的依赖包有可能是被黑客恶意篡改的,以及缓存在本地的依赖包也有被篡改的可能,单单一个go.mod文件并不能保证一致性构建。

为了解决Go module的这一安全隐患,Go开发团队在引入go.mod的同时也引入了go.sum文件,用于记录每个依赖包的哈希值,在构建时,如果本地的依赖包hash值与go.sum文件中记录得不一致,则会拒绝构建。

go.sum文件记录

go.sum文件中每行记录由module名、版本和哈希组成,并由空格分开:

<module> <version>[/go.mod] <hash> 

比如,某个go.sum文件中记录了github.com/google/uuid 这个依赖包的v1.1.1版本的哈希值:

github.com/google/uuid v1.1.1 h1:Gkbcsh/GbpXz7lPftLA3P6TYMwjCLYm83jiFQZF/3gY= github.com/google/uuid v1.1.1/go.mod h1:TIyPZe4MgqvfeYDBFedMoGGpEw/LqOeaOT+nhxU+yHo= 

在Go module机制下,我们需要使用依赖包名称和版本才可以准确的描述一个依赖,为了方便叙述,下面我们使用依赖包版本来指代依赖包名称和版本。

正常情况下,每个依赖包版本会包含两条记录,第一条记录为该依赖包版本整体(所有文件)的哈希值,第二条记录仅表示该依赖包版本go.mod文件的哈希值,如果该依赖包版本没有go.mod文件,则只有第一条记录。如上面的例子中,v1.1.1表示该依赖包版本整体,而v1.1.1/go.mod表示该依赖包版本go.mod文件。

依赖包版本中任何一个文件(包括go.mod)改动,都会改变其整体哈希值,此处再额外记录依赖包版本go.mod文件主要用于计算依赖树时不必下载完整的依赖包版本,只根据go.mod即可计算依赖树。

每条记录中的哈希值前均有一个表示哈希算法的h1:,表示后面的哈希值是由算法SHA-256计算出来的,自Go module从v1.11版本初次实验性引入,直至v1.14 ,只有这一个算法。

此外,细心的读者或许会发现go.sum文件中记录的依赖包版本数量往往比go.mod文件中要多,这是因为二者记录的粒度不同导致的。go.mod只需要记录直接依赖的依赖包版本,只在依赖包版本不包含go.mod文件时候才会记录间接依赖包版本,而go.sum则是要记录构建用到的所有依赖包版本

生成

在GOMODULE模式下,当我们引入一个新的依赖(使用import xxx)时,在使用go命令(go buildgo get等)时都会触发依赖包的下载,依赖包首先会被下载到本地的缓存目录$GOPATH/pkg/mod/cache/download,下载的依赖包为某个.zip文件,go命令在下载完后成会对该.zip文件计算哈希值,并保存在后缀为.ziphash的文件中,此哈希值即为依赖包版本整体的哈希值。为了更新go.sum,还会将该.zip包解压并取出go.sum再次计算哈希值,此哈希值即为依赖包版本go.mod文件的哈希值。

简单来说,go.sum中的记录是go命令首次添加进去的。而且后续随着依赖的增加或减少,go命令也会相应的新增或删除go.sum中的记录。

校验

在GOMODULE模式下,当我们使用go命令构建项目时,如果项目中包含go.sum文件,则会进行依赖包版本的校验。go命令会跟据go.mod到本地缓存目录$GOPATH/pkg/mod/cache/download寻找相应依赖包版本的哈希值,然后与项目中go.sum记录的哈希值比较,如果不一致则表示校验失败,go命令将会拒绝执行。

校验失败说明本地缓存目录中依赖包版本的哈希值和项目中go.sum中记录的哈希值不一致,此时有意思的是如何区别谁对谁错。需要说明的是,二者都可能出错,本地缓存目录中的依赖包版本有可能被有意或无意地修改过,项目中go.sum中记录的哈希值也可能被篡改过。

为了解决这个问题,Go团队引入了GOSUMDB来充当仲裁的角色。

仲裁

环境变量GOSUMDB标识一个checksum database,即校验和数据库。该数据库中记录了很多依赖包版本的哈希值,当本地缓存目录中依赖包版本的哈希值和项目中go.sum中记录的哈希值不一致时,将会从GOSUMDB指示的数据库中查询得到一个准确的哈希值,据此识别出哪个是正确的。

如果是项目中的go.sum哈希值错误,go命令会自动更新go.sum,如果是缓存中的哈希值错误,则go命令拒绝向下执行,需要开发人员自行检查依赖包版本是否被修改过。

此外,环境变量GOSUMDB默认值为sum.golang.org,它是Google 官方维护的一个数据库,其会缓存所有可公开获得的依赖包,也可以指定自行搭建的数据库。还可以使用GOPRIVATE环境变量指定私有的依赖包,从而跳过校验。

参考文档

  • 命令行帮助文档:$ go help module-auth
  • Go 1.14 源码

赠人玫瑰手留余香,如果觉得不错请给个赞~

本篇文章已归档到GitHub项目,求星~ 点我即达

原文链接:https://my.oschina.net/renhc/blog/3171035
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章