深入分析Kubelet Bootstrap Checkpoint-低调大师

深入分析Kubelet Bootstrap Checkpoint

2018-11-24 678

Author: xidianwangtao@gmail.com , Version: Kubernetes 1.12

摘要：本文对Kubelet Bootstrap Checkpoint的使用方法、应用场景、工作机制及其代码工作流程进行了全面分析，目前仍处于Alpha阶段，不确定性较大，但值得持续的关注它在self-hosted kubernetes, kubeadm upgrade, bootkube等方向的应用，相信Kubernetes的部署和升级还会变的更加简单。

Kubelet Bootstrap Checkpoint是什么

Kubelet Bootstrap Checkpoint是kubelet对特定的Pods的进行备份、恢复的kubelet内置模块。

Kubelet Bootstrap Checkpoint是对当前Node上带有Annotation:node.kubernetes.io/bootstrap-checkpoint=true的Pods的Checkpoint到文件系统机制。
当kubelet重启时，会检查checkpoint目录下各个Pods对应的checkpoint文件,加载所有的checkpoint文件，转换成Pod Object，然后启动这些Pods。

Kubelet Bootstrap Checkpoint应用场景

看起来似乎有点像static pod的使用方式：根据某个目录下Pod的描述文件，kubelet监控这些文件，根据文件的变更与否，决定是否删除、创建、更新对应的Pods。又或者有点像DaemonSet的使用场景。

最大的不同是，Kubelet Bootstrap Checkpoint是会对特定Pods的checkpoint，如果Pods通过API发生变更或者创建，那么最新的Pod数据会写入到Pod对应的checkpoint文件中，Pod对应的checkpoint文件名格式是Pod_UID.yaml，存放的内容是完整的Pod API Object的Yaml格式内容，包括Status。

Kubelet Bootstrap Checkpoint主要的应用场景：

self-hosted-kubernetes用来对k8s托管的apiserver,controller-manager,scheduler,kubelet,etcd,Adds-on组件进行升级、维护的场景。关于self-hosted-kubernetes的更多内容请参考self-hosted-kubernetes design-proposals，bootkube, kubeadm upgrade等都与此相关。这也是社区设计这一特性的主要动机。下图是bootkube的原理图。

那么，对于用户来说，部署普通应用时给Pod加上Annotation:node.kubernetes.io/bootstrap-checkpoint=true来给该Pod提供bootstrap checkpoint会带来什么好处吗？

对于用户而言，如果apiserver能正常访问，那么bootstrap checkpoint确实没有什么用处，因为etcd中已经有Pods API Object信息了，checkpoint就显得多此一举了。如果checkpoint文件和etcd中数据存在不一致的情况，反而会导致Pod先通过checkpoint恢复后，很快又根据etcd中Object Info进行重建的问题。

但是，对于Node上一些特殊的常驻Agent，比如cmdb agent，需要定期上报Node的状态等信息，以DaemonSet Pod方式运行在Node上，如果在对Kubernetes进行升级时方式不对或者不顺畅，Node系统重启并长时间无法与apiserver进行通信（比如apiserver升级失败），这将导致Node上无法运行DaemonSet Pod，那么这个Node上的cmdb agent就无法正常上报信息。对于这种情况，如果我们给这个DaemonSet Pod设置了对应Annotation和启用了Kubelet Bootstrap Checkpoint，那么kubelet可以在不依赖apiserver的情况下，通过本地的checkpoint文件恢复之前备份的Pods。

因此，给一些per-node上的关键用户组件使用Bootstrap Checkpoint是有价值的。

怎么启用Kubelet Bootstrap Checkpoint

Kubelet启动参数中配置--bootstrap-checkpoint-path，默认为“”，意味着默认Disable。
给需要Bootstrap Checkpoint的Pods加上Annotation:node.kubernetes.io/bootstrap-checkpoint=true。

Bootstrap Checkpoint工作机制

kubelet启动时，在NerMainKubelet中会检查--bootstrap-checkpoint-path是否不为空，如果不为空，就会创建checkpointManager。

创建或者变更Pod

当用户提交创建Pod请求后，经过scheduler调度，最后由kubelet发现调度到本节点，由kubelet开始Pod的创建流程。
checkpointManager不为空的情况下，kubelet会检查Pod是都有Annotation:node.kubernetes.io/bootstrap-checkpoint=true，kubelet在HandlePodAddtions时会遍历所有Pods，在dispatchWorker去创建Pod前，PodManager会调用checkpoint.WritePod接口先将满足Annotation的Pods写入到它们对应的checkpoint文件(Pod_UID.yaml)中。
同样的，当Pod Spec发生变更，kubelet通过HandlePodUpdates遍历所有Pods，由PodManager调用checkpoint.WritePod接口将满足Annotation的Pods最新内容写入到它们对应的的checkpoint文件中。
如果checkpoint.WritePod发生Error，可以在kubelet日志中看到，但是并不会引发流程异常，也就是说，Pod还会继续创建起来，但是checkpoint失败。

删除Pod

当用户提交删除Pod请求后，kubelet通过HandlePodRemove遍历所有Pods，由PodManager调用checkpoint.DeletePod接口将Pod对应的checkpoint文件删除。
如果Pod对应的checkpoint文件不存在，不会有异常返回，也不应该有异常返回。
如果Pod对应的checkpoint文件存在，但是删除失败，那么会有kubelet Error日志，但是流程不会失败。

注意，这里并不会去检查Pod的Annotation是否满足条件，而是对所有Pods都试图去删除对个格式的文件名。为什么不先检查Annotation呢？这样性能不是会更高么？试想一下这种场景，Pod的Checkpoint Annotation在变更时被删除了，那么他的checkpoint文件就会被残留。之后该Pod被删除了，然后kubelet发生重启时，还会从checkpoint中恢复这个已经被删除的Pod，这很糟糕。当然，很快这个Pod会从apiserver中同步中知道已经被删除了，然后kubelet再次删除这个Pod.

Kubelet重启

当kubelet发生冷重启时，会先检查--bootstrap-checkpoint-path是否配置了，如果是，就会调用checkpoint.LoadPods根据配置的目录下的所有Pod_UID.yaml格式的文件，并通过FNV Hash算法进行CheckSum检查。
检查通过后，将checkpoint yaml文件内容转换成Pod API Object，然后把这些Pods对象通过kubetypes.PodUpdate类型的channel一直传递给Kubelet.syncLoopIteration，最终由dispatch给Kubelet podWorkers去创建对应的Pods实例。

Bootstrap Checkpoint工作流

Bootstrap Checkpoint的代码很简单，也不多，这里直接贴出对应的代码流程概要图。

其他注意事项

目前Bootstrap Checkpoint只是对本节点的特定Pods进行Checkpoint，并不包括其他Kubernetes Object的Checkpoint。
更不是对kubelet内存数据的Checkpoint。这些都不是它想做的事，更不是应该做的事，集群状态存储的地方越多，问题就会越多。

总结

本文对Kubelet Bootstrap Checkpoint的使用方法、应用场景、工作机制及其代码工作流程进行了全面分析，目前仍处于Alpha阶段，不确定性较大，但值得持续的关注它在self-hosted kubernetes, kubeadm upgrade, bootkube等方向的应用，相信Kubernetes的部署和升级还会变的更加简单。

微信关注我们

原文链接：https://my.oschina.net/jxcdwangtao/blog/2960614

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

c++命名空间 namespace学习

我们为什么需要命名空间？我们假设一下这种情况，在A班中，有一名同学叫小明，在B班中，也有一名同学叫小明，现在两个班的同学一起聚会，老师找A班的小明，这时候他在人群中喊一声小明肯定两个小明都过来了，这个时候B班小明就白跑一趟了，为了避免这种尴尬，老师只要喊“A班的小明过来一下就行了”。在c++已经其他某些语言中，也是这个道理，在很多大型项目中，由于可能多人一起开发，难免出现相同名字的变量，这个时候我们就需要namespace了，在调用同名变量时，另外加上它的namespace，这样就避免了出错。 1.命名空间实例 //namespace study #include<iostream> using namespace std; namespace first_space{ void func(){ cout<<"my first_space"<<endl; } } namespace second_space{ void func(){ cout<<"my second_space"<<endl; } ...

2018-11-24

833

在vue中，经常会用到数据请求，常用的有：vue-resourse、axios 首先，引入axios CDN: <script src="https://unpkg.com/axios/dist/axios.min.js"></script> npm: npm install axios 并在全局的js中引入：import axios from 'axios'; get请求 axios.get('/user?ID=12345') .then(function (response) { console.log(response); }) .catch(function (error) { console.log(error); });//欢迎加入全栈开发交流圈一起学习交流：864305860 post请求 //依赖于qs包，将对象转换成以&连接的字符串 //例： axios.post( postUrl ,qs.stringify({userid:1,username:'yyy'})).then(function (response) { consol 配置...

2018-11-25

914

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。