让容器应用管理更快更安全，Dragonfly 发布 Nydus 容器镜像加速服务

2020-10-27 581

镜像对容器部署的挑战

在容器的生产实践中，偏小的容器镜像能够很快地部署启动。当应用的镜像达到几个 GB 以上的时候，在节点上下载镜像通常会消耗大量的时间。Dragonfly 通过引入 P2P 网络有效提升了容器镜像大规模分发的效率。然而，用户还是必须等待镜像数据完整下载到本地，然后才能创建自己的容器。我们希望进一步缩减镜像下载的时间，让用户能够更快地部署容器应用。同时，如何更好地保护用户数据，也是容器行业近年来的重要关注点。

为此，我们为 Dragonfly 项目引入了一个容器镜像加速服务 Nydus。Nydus 能够极大缩短镜像下载时间，并提供端到端的镜像数据一致性校验，从而让用户能够更安全快捷地管理容器应用。Nydus 由阿里云和蚂蚁集团的工程师合作开发，并大规模部署在内部的生产环境中。作为云原生生态的一部分， Nydus 在生产环境的优秀表现，让我们有信心现在将项目开源，让更多的容器用户能够体验到容器快速启动和安全加载方面的能力。

容器镜像加速服务 Nydus 地址：https://github.com/dragonflyoss/image-service

Nydus: Dragonfly 的容器镜像服务

Nydus 项目优化了现有的 OCI 镜像标准格式，并以此设计了一个用户态的文件系统。通过这些优化，Nydus 能够提供这些特性：

容器镜像按需下载，用户不再需要下载完整镜像就能启动容器
块级别的镜像数据去重，最大限度为用户节省存储资源
镜像只有最终可用的数据，不需要保存和下载过期数据
端到端的数据一致性校验，为用户提供更好的数据保护
兼容 OCI 分发标准和 artifacts 标准，开箱即可用
支持不同的镜像存储后端，镜像数据不只可以存放在镜像仓库，还可以放到 NAS 或者类似 S3 的对象存储上
与 Dragonfly 的良好集成

架构上， Nydus 主要包含一个新的镜像格式，和一个负责解析容器镜像的 FUSE 用户态文件系统进程。

Nydus 能够解析 FUSE 或者 virtiofs 协议来支持传统的 runc 容器或者 Kata 容器。容器仓库、OSS 对象存储、NAS 以及 Dragonfly 的超级节点和 peer 节点都可以作为 Nydus 的镜像数据源。同时，Nydus 还可以配置一个本地缓存，从而避免每次启动都从远端数据源拉取数据。

镜像格式方面， Nydus 把一个容器镜像分成元数据和数据两层。其中元数据层是一棵自校验的哈希树，每个文件和目录都是哈希树中的一个附带哈希值的节点。一个文件节点的哈希值由文件的数据确定，一个目录节点的哈希值则由该目录下所有文件和目录的哈希值确定。每个文件的数据被按照固定大小切片并保存到数据层中，数据切片可以在不同文件以及不同镜像中的不同文件共享。

Nydus 能为用户带来什么？

用户如果部署了 Nydus 镜像服务，最直观的一个感受就是，容器启动变快了，从以前的明显时间消耗，变成了几乎瞬间就能启动起来。在我们的测试中， Nydus 能够把常见镜像的启动时间，从数分钟缩短到数秒钟。

另外一个不那么明显但也很重要的改进，是 Nydus 能够为用户提供容器运行时数据一致性校验。在传统的镜像中，镜像数据会先被解压到本地文件系统，再由容器应用去访问使用。解压前，镜像数据是完整校验的。但是解压之后，镜像数据不再能够被校验。这带来的一个问题就是，如果解压后的镜像数据被无意或恶意地修改，用户是无法感知的。而 Nydus 镜像不会被解压到本地，同时可以对每一次数据访问进行校验，如果数据被篡改，则可以从远端数据源重新拉取。

未来规划

前面我们介绍了 Nydus 的架构和优点。在过去的一年里，我们和内部的产品团队一起致力于让 Nydus 项目更稳定、安全和易用。在把 Nydus 项目开源之后，我们将会更关注广泛的云原生容器生态。我们的愿景是，当用户在集群中部署 Dragonfly 和 Nydus 服务的时候，无论镜像大小，用户都能够方便快捷地运行他们的容器应用，同时不需要为容器镜像的数据安全性担忧。

OCI 社区容器镜像标准

我们已经在内部生产环境中大规模部署 Nydus，而我们坚信对 OCI 镜像标准的改进需要广泛的社区合作。为此，我们积极地参与了 OCI 社区关于下一代镜像标准的讨论，并发现 Nydus 能够广泛地符合 OCI 社区对下一代镜像格式的要求。所以我们提议把 Nydus 作为 OCI 社区下一代镜像格式的示例实现，并期待和更多的云原生行业领导者们一起推进下一代镜像标准的制定和实现。

FAQ

Q1：现有的 OCI 镜像标准有什么问题？ A1：SUSE 的 Aleksa Sarai 写过一个 blog (The Road to OCIv2 Images: What's Wrong with Tar?)，详细描述了现有 OCI 镜像标准的一系列问题，简单总结就是 OCI 镜像标准使用的 tar 格式太古老，并不适合作为容器镜像格式。

Q2：Nydus 和 CRFS 有什么区别？ A2：CRFS 是 GO build team 设计的一个镜像格式。二者在主要设计思想上非常相似。细节上， Nydus 支持块级别的数据去重和端到端的数据一致性校验，可以说是在 CRFS 的 stargz 格式上的进一步改进。

Q3：Nydus 和 Azure 的 Teleport 有什么区别？ A3：Azure Teleport 更像是现有 OCI 镜像标准在基于 SMB 文件共享协议的 snapshotter 上的一个部署实现，能够支持容器镜像数据按需下载，但保留了所有目前 OCI 镜像 tar 格式的缺陷。相对的，Nydus 抛弃了过时的 tar 格式，并使用 merkle tree 格式来提供更多的高级特性。

Q4：如果运行基于 Nydus 的容器的时候网络断了怎么办？ A4：使用现有 OCI 镜像的时候，如果在容器镜像还没有完整下载的时候网络断了，容器会一开始就无法启动。Nydus 很大程度上改变了容器启动的流程，用户不需要再等待镜像数据完整下载就能启动容器。而容器运行时如果网络断了，将无法访问没有下载到本地的镜像数据。Nydus 支持在容器启动后在后台下载容器镜像数据，所以当容器镜像数据完整下载到本地后，基于 Nydus 的容器也不会受到网络中断的影响。

附录：OClv2 镜像标准

从 2020 年 6 月开始，OCI 社区花了一个多月时间密集讨论了当前 OCI 镜像标准的缺陷，以及 OCIv2 镜像格式需要满足哪些要求。OCIv2 在这里只是一个宣传命名，实际上 OCIv2 是当前 OCI 镜像标准的改进，而不会是一个全新的镜像标准。

这次镜像格式大讨论从一个邮件和一份共享文档开始，并促成了多次在线的 OCI 社区讨论会议。最后的结论也很鼓舞人心，OCIv2 镜像格式需要满足下列要求：

更少的重复数据
可重建的镜像格式
明确的更少的文件系统元数据
可以 mount 的文件系统格式
镜像内容列表
镜像数据按需加载
可扩展性
可校验和/或可修复
更少的上传数据
可以工作在不可信存储上

在共享文档中可以找到每一个要求的详细描述。我们全程参与了整个 OCIv2 镜像格式要求的讨论，并发现 Nydus 很好地满足了全部的这些要求。这进一步促使我们开源 Nydus 项目来为社区讨论提供一个工作的代码基础。

共享文档链接：https://hackmd.io/@cyphar/ociv2-brainstorm

“阿里巴巴云原生关注微服务、Serverless、容器、Service Mesh 等技术领域、聚焦云原生流行技术趋势、云原生大规模的落地实践，做最懂云原生开发者的公众号。”

微信关注我们

原文链接：https://my.oschina.net/u/3874284/blog/4690999

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

View绘制系列(13)-Canvas渐变属性绘制

Canvas渐变属性绘制五颜六色，七彩缤纷。有时候我们的UI设计稿也极尽色彩之能，比如下图这样：这种渐变效果我们能画吗？不得不说，Android系统的基础构架还是很强大的，我们可以使用LinearGradient进行绘制，与其相关的还有SweepGradient，RadialGradient. LinearGradient,SweepGradient及RadialGradient均为Shader子类，所以与前文类似，我们只需要调用paint.setShader方法将对象设置进去，然后进行绘制即可。 LinearGradient 使用代码如下： int[]mColors={Color.RED,Color.YELLOW,Color.GREEN,Color.BLUE}; //从(0,0)到(400,400)绘制线性渐变，也就是对角线区域为渐变水平线 LinearGradientlinearGradient= newLinearGradient(0,0,400,400,mColors,null,Shader.TileMode.MIRROR); paint.setShader(l...

2020-10-27

500

点击上方蓝色“冰河技术”，关注并选择“设为星标” 持之以恒，贵在坚持，每天进步一点点！作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。自开源半年多以来，已成功为十几家中小型企业提供了精准定时调度方案，经受住了生产环境的考验。为使更多童鞋受益，现给出开源框架地址： https://github.com/sunshinelyz/mykit-delay PS: 欢迎各位Star源码，也可以pr你牛逼哄哄的代码。写在前面随着互联网的发展，互联网企业的业务也在不断的飞速发展，进而导致系统的架构也在不断的发生着变化。总体来说，系统的架构大致经历了：单体应用架构—>垂直应用架构—>分布式架构—>SOA架构—>微服务架构的演变。当然，很多互联网企业的系统架构已经向Service Mesh(服务化网格)演变。今天，我们就一起来聊聊关于系统架构的演变这个话题。单体应用架构在企业发展的初期，一般公司的网站流量都比较小，只需要一个应用，将所有的功能代码打包成一个服务，部署到服务器上就能支撑公司的业务。这样也能...

2020-10-26

605

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。