Kubernetes节点加入，经验总结
- kubeadm安装Kubernetes，实践记录。
Kubernetes主控节点建立后（方法参见上面的链接），就可以随时添加 更多的工作节点进去构建更大的集群（minikube设计为单机开发使用，不能添加工作节点），容器实例可以在所有符合条件的node上调度运行，这是Kubernetes最为强大的功能。
- 因为容器工作负载可以在任何节点上运行，所以存储和计算资源都应该设计为通过网络接口访问，资源、服务和计算任务都是浮动的。
- kubeadm join 命令可以添加工作节点。最简单的方式是通过Token，主控节点上使用kubeadm token命令可以管理集群所产生的Token。
1、节点命名规则
K8S本身就是采用一套名称规则来标记和筛选容器的系统。节点的命名有一个统一规划，后面管理起来会更方便。局域网中直接会根据机器名列出节点，因此不要使用同名，最好加上数字编号，前面用英文字母顺序，便于排序。
2、节点加入命令
kubeadm init 结束时会自动产生节点加入的命令，最好记下来。
如果忘了，可以使用kubeadm token create --print-join-command 方法重新生成链接Token并打印输出加入命令。网上搜了好久，终于发现这个方法，不过要1.9以后的版本才支持的，如果不支持这个参数，整个集群的Kubeadm版本都需要升级到新版本。
3、确保Kubelet已启动
每一个node的kubelet都必须进去设置cgroup-drive和swap关闭的启动选项，跟主控节点一样（参见上民面安装Kubernetes的方法），然后需要重新启动，通过systemctl daemon-reload/systemctl restart kubelet来进行。
如果node上显示添加成功，但Master上显示不出来，在node机上使用systemctl status kubelet查看下服务的状态，检查里面的各项状态，单独处理。
4、确保网络flannel镜像可用
quay.io的flannel网络镜像下载很慢，最好单独下载。如下：
docker pull quay.io/coreos/flannel:v0.10.1-amd64
如果用其它网络驱动，也是一样，需要确保可用。
5、网络flannel依赖DNS镜像
目前flannel网络0.10.1的DNS需要依赖kube-dns1.14.8版本，不是Kubernetes1.10.2版本安装时的1.14.10，需要单独把容器镜像下载下来。否则，速度太慢，还以为死机了。如下：
docker pull k8s.gcr.io/k8s-dns-kube-dns-amd64:1.14.8
6、Docker代理与Registry指向
Docker的代理也是需要每个node独立设的，因为各个节点都是各自向Docker Registry请求下载镜像，因此一定不要在K8S中使用本地编译的Docker镜像，要推送到服务器上，因为其他节点还是需要从Registry服务器去下载的，建立本地集群的统一Registry 服务就很重要了，可以使用Harbor 来搭建。
7、docker版本必须一致
docker版本必须一致，否则总是NotReady，然后报CNI错误，Network NotReady等。
强制安装为18.03.1后变为Ready。如下方法：
sudo apt install docker-ce=18.03.1~ce-0~ubuntu
可以使用 apt-cache madison docker-ce 查看可用的docker版本。
目前最新的18.05有一些问题，而Nvidia-Docker2只支持到18.03.1，自己编译的18.05的lib-container-runtime运行时出现CNI错误。
8、安装Nvidia-Docker2和k8s GPU插件
如果需要做机器学习，工作节点上也需要安装所有的Nvidia驱动、cuCuda、cuTensor、Nvidia-Docker2和Nvidia的K8S插件，不管是不是安装有Nvidia的显卡。
安装方法参考：
安装Kubernetes上的GPU支持软件：
9、显卡最好一样
GPU节点的显卡型号最好都一样，否则调度时可能会出问题，轻者出现异常，重者直接导致节点挂掉。现在Kubernetes无法对GPU内部资源进行识别和调度，基本管理单元是GPU块数，而且是独占。一旦请求GPU的容器获得资源，无论是否在使用，其它的容器将不能同时请求该GPU，除非原来的容器退出。
10、诊断节点状态
如果节点在kubectl get node可以看见但状态一直NotReady，可以使用kubectl describe node my-node的方式，查看详细的node运行情况。
本文转移开源中国-Kubernetes加入新节点，经验总结
