首页 文章 精选 留言 我的

kubeadm源码分析（内含kubernetes离线包，三步安装）

2018-12-13 547

k8s离线安装包 三步安装，简单到难以置信

kubeadm源码分析

说句实在话，kubeadm的代码写的真心一般，质量不是很高。

几个关键点来先说一下kubeadm干的几个核心的事：

  • kubeadm 生成证书在/etc/kubernetes/pki目录下
  • kubeadm 生成static pod yaml配置，全部在/etc/kubernetes/manifasts下
  • kubeadm 生成kubelet配置，kubectl配置等 在/etc/kubernetes下
  • kubeadm 通过client go去启动dns

kubeadm init

代码入口 cmd/kubeadm/app/cmd/init.go 建议大家去看看cobra

找到Run函数来分析下主要流程：

  1. 如果证书不存在，就创建证书，所以如果我们有自己的证书可以把它放在/etc/kubernetes/pki下即可, 下文细看如果生成证书
  1. if res, _ := certsphase.UsingExternalCA(i.cfg); !res {
  2. if err := certsphase.CreatePKIAssets(i.cfg); err != nil {
  3. return err
  4. }
  1. 创建kubeconfig文件
  1. if err := kubeconfigphase.CreateInitKubeConfigFiles(kubeConfigDir, i.cfg); err != nil {
  2. return err
  3. }
  1. 创建manifest文件，etcd apiserver manager scheduler都在这里创建, 可以看到如果你的配置文件里已经写了etcd的地址了，就不创建了，这我们就可以自己装etcd集群，而不用默认单点的etcd，很有用
  1. controlplanephase.CreateInitStaticPodManifestFiles(manifestDir, i.cfg);
  2. if len(i.cfg.Etcd.Endpoints) == 0 {
  3. if err := etcdphase.CreateLocalEtcdStaticPodManifestFile(manifestDir, i.cfg); err != nil {
  4. return fmt.Errorf(“error creating local etcd static pod manifest file: %v”, err)
  5. }
  6. }
  1. 等待APIserver和kubelet启动成功，这里就会遇到我们经常遇到的镜像拉不下来的错误，其实有时kubelet因为别的原因也会报这个错，让人误以为是镜像弄不下来
  1. if err := waitForAPIAndKubelet(waiter); err != nil {
  2. ctx := map[string]string{
  3. “Error”: fmt.Sprintf(“%v”, err),
  4. “APIServerImage”: images.GetCoreImage(kubeadmconstants.KubeAPIServer, i.cfg.GetControlPlaneImageRepository(), i.cfg.KubernetesVersion, i.cfg.UnifiedControlPlaneImage),
  5. “ControllerManagerImage”: images.GetCoreImage(kubeadmconstants.KubeControllerManager, i.cfg.GetControlPlaneImageRepository(), i.cfg.KubernetesVersion, i.cfg.UnifiedControlPlaneImage),
  6. “SchedulerImage”: images.GetCoreImage(kubeadmconstants.KubeScheduler, i.cfg.GetControlPlaneImageRepository(), i.cfg.KubernetesVersion, i.cfg.UnifiedControlPlaneImage),
  7. }
  9. kubeletFailTempl.Execute(out, ctx)
  11. return fmt.Errorf(“couldn’t initialize a Kubernetes cluster”)
  12. }
  1. 给master加标签，加污点, 所以想要pod调度到master上可以把污点清除了
  1. if err := markmasterphase.MarkMaster(client, i.cfg.NodeName); err != nil {
  2. return fmt.Errorf(“error marking master: %v”, err)
  3. }
  1. 生成tocken
  1. if err := nodebootstraptokenphase.UpdateOrCreateToken(client, i.cfg.Token, false, i.cfg.TokenTTL.Duration, kubeadmconstants.DefaultTokenUsages, []string{kubeadmconstants.NodeBootstrapTokenAuthGroup}, tokenDescription); err != nil {
  2. return fmt.Errorf(“error updating or creating token: %v”, err)
  3. }
  1. 调用clientgo创建dns和kube-proxy
  1. if err := dnsaddonphase.EnsureDNSAddon(i.cfg, client); err != nil {
  2. return fmt.Errorf(“error ensuring dns addon: %v”, err)
  3. }
  5. if err := proxyaddonphase.EnsureProxyAddon(i.cfg, client); err != nil {
  6. return fmt.Errorf(“error ensuring proxy addon: %v”, err)
  7. }

笔者批判代码无脑式的一个流程到底，要是笔者操刀定抽象成接口 RenderConf Save Run Clean等，DNS kube-porxy以及其它组件去实现，然后问题就是没把dns和kubeproxy的配置渲染出来，可能是它们不是static pod的原因, 然后就是join时的bug下文提到

证书生成

循环的调用了这一坨函数，我们只需要看其中一两个即可，其它的都差不多

  1. certActions := []func(cfg *kubeadmapi.MasterConfiguration) error{
  2. CreateCACertAndKeyfiles,
  3. CreateAPIServerCertAndKeyFiles,
  4. CreateAPIServerKubeletClientCertAndKeyFiles,
  5. CreateServiceAccountKeyAndPublicKeyFiles,
  6. CreateFrontProxyCACertAndKeyFiles,
  7. CreateFrontProxyClientCertAndKeyFiles,
  8. }

根证书生成：

  1. //返回了根证书的公钥和私钥
  2. func NewCACertAndKey() (*x509.Certificate, *rsa.PrivateKey, error) {
  4. caCert, caKey, err := pkiutil.NewCertificateAuthority()
  5. if err != nil {
  6. return nil, nil, fmt.Errorf(“failure while generating CA certificate and key: %v”, err)
  7. }
  9. return caCert, caKey, nil
  10. }

k8s.io/client-go/util/cert 这个库里面有两个函数，一个生成key的一个生成cert的：

  1. key, err := certutil.NewPrivateKey()
  2. config := certutil.Config{
  3. CommonName: “kubernetes”,
  4. }
  5. cert, err := certutil.NewSelfSignedCACert(config, key)

config里面我们也可以填充一些别的证书信息：

  1. type Config struct {
  2. CommonName string
  3. Organization []string
  4. AltNames AltNames
  5. Usages []x509.ExtKeyUsage
  6. }

私钥就是封装了rsa库里面的函数：

  1. “crypto/rsa”
  2. “crypto/x509”
  3. func NewPrivateKey() (*rsa.PrivateKey, error) {
  4. return rsa.GenerateKey(cryptorand.Reader, rsaKeySize)
  5. }

自签证书,所以根证书里只有CommonName信息，Organization相当于没设置：

  1. func NewSelfSignedCACert(cfg Config, key *rsa.PrivateKey) (*x509.Certificate, error) {
  2. now := time.Now()
  3. tmpl := x509.Certificate{
  4. SerialNumber: new(big.Int).SetInt64(0),
  5. Subject: pkix.Name{
  6. CommonName: cfg.CommonName,
  7. Organization: cfg.Organization,
  8. },
  9. NotBefore: now.UTC(),
  10. NotAfter: now.Add(duration365d * 10).UTC(),
  11. KeyUsage: x509.KeyUsageKeyEncipherment | x509.KeyUsageDigitalSignature | x509.KeyUsageCertSign,
  12. BasicConstraintsValid: true,
  13. IsCA: true,
  14. }
  16. certDERBytes, err := x509.CreateCertificate(cryptorand.Reader, &tmpl, &tmpl, key.Public(), key)
  17. if err != nil {
  18. return nil, err
  19. }
  20. return x509.ParseCertificate(certDERBytes)
  21. }

生成好之后把之写入文件：

  1. pkiutil.WriteCertAndKey(pkiDir, baseName, cert, key);
  2. certutil.WriteCert(certificatePath, certutil.EncodeCertPEM(cert))

这里调用了pem库进行了编码

  1. encoding/pem
  3. func EncodeCertPEM(cert *x509.Certificate) []byte {
  4. block := pem.Block{
  5. Type: CertificateBlockType,
  6. Bytes: cert.Raw,
  7. }
  8. return pem.EncodeToMemory(&block)
  9. }

然后我们看apiserver的证书生成：

  1. caCert, caKey, err := loadCertificateAuthorithy(cfg.CertificatesDir, kubeadmconstants.CACertAndKeyBaseName)
  2. //从根证书生成apiserver证书
  3. apiCert, apiKey, err := NewAPIServerCertAndKey(cfg, caCert, caKey)

这时需要关注AltNames了比较重要，所有需要访问master的地址域名都得加进去，对应配置文件中apiServerCertSANs字段,其它东西与根证书无差别

  1. config := certutil.Config{
  2. CommonName: kubeadmconstants.APIServerCertCommonName,
  3. AltNames: *altNames,
  4. Usages: []x509.ExtKeyUsage{x509.ExtKeyUsageServerAuth},
  5. }

创建k8s配置文件

可以看到创建了这些文件

  1. return createKubeConfigFiles(
  2. outDir,
  3. cfg,
  4. kubeadmconstants.AdminKubeConfigFileName,
  5. kubeadmconstants.KubeletKubeConfigFileName,
  6. kubeadmconstants.ControllerManagerKubeConfigFileName,
  7. kubeadmconstants.SchedulerKubeConfigFileName,
  8. )

k8s封装了两个渲染配置的函数： 区别是你的kubeconfig文件里会不会产生token，比如你进入dashboard需要一个token，或者你调用api需要一个token那么请生成带token的配置 生成的conf文件基本一直只是比如ClientName这些东西不同，所以加密后的证书也不同，ClientName会被加密到证书里，然后k8s取出来当用户使用

所以重点来了，我们做多租户时也要这样去生成。然后给该租户绑定角色。

  1. return kubeconfigutil.CreateWithToken(
  2. spec.APIServer,
  3. “kubernetes”,
  4. spec.ClientName,
  5. certutil.EncodeCertPEM(spec.CACert),
  6. spec.TokenAuth.Token,
  7. ), nil
  9. return kubeconfigutil.CreateWithCerts(
  10. spec.APIServer,
  11. “kubernetes”,
  12. spec.ClientName,
  13. certutil.EncodeCertPEM(spec.CACert),
  14. certutil.EncodePrivateKeyPEM(clientKey),
  15. certutil.EncodeCertPEM(clientCert),
  16. ), nil

然后就是填充Config结构体喽, 最后写到文件里，略

  1. “k8s.io/client-go/tools/clientcmd/api
  2. return &clientcmdapi.Config{
  3. Clusters: map[string]*clientcmdapi.Cluster{
  4. clusterName: {
  5. Server: serverURL,
  6. CertificateAuthorityData: caCert,
  7. },
  8. },
  9. Contexts: map[string]*clientcmdapi.Context{
  10. contextName: {
  11. Cluster: clusterName,
  12. AuthInfo: userName,
  13. },
  14. },
  15. AuthInfos: map[string]*clientcmdapi.AuthInfo{},
  16. CurrentContext: contextName,
  17. }

创建static pod yaml文件

这里返回了apiserver manager scheduler的pod结构体,

  1. specs := GetStaticPodSpecs(cfg, k8sVersion)
  2. staticPodSpecs := map[string]v1.Pod{
  3. kubeadmconstants.KubeAPIServer: staticpodutil.ComponentPod(v1.Container{
  4. Name: kubeadmconstants.KubeAPIServer,
  5. Image: images.GetCoreImage(kubeadmconstants.KubeAPIServer, cfg.GetControlPlaneImageRepository(), cfg.KubernetesVersion, cfg.UnifiedControlPlaneImage),
  6. Command: getAPIServerCommand(cfg, k8sVersion),
  7. VolumeMounts: staticpodutil.VolumeMountMapToSlice(mounts.GetVolumeMounts(kubeadmconstants.KubeAPIServer)),
  8. LivenessProbe: staticpodutil.ComponentProbe(cfg, kubeadmconstants.KubeAPIServer, int(cfg.API.BindPort), “/healthz”, v1.URISchemeHTTPS),
  9. Resources: staticpodutil.ComponentResources(“250m”),
  10. Env: getProxyEnvVars(),
  11. }, mounts.GetVolumes(kubeadmconstants.KubeAPIServer)),
  12. kubeadmconstants.KubeControllerManager: staticpodutil.ComponentPod(v1.Container{
  13. Name: kubeadmconstants.KubeControllerManager,
  14. Image: images.GetCoreImage(kubeadmconstants.KubeControllerManager, cfg.GetControlPlaneImageRepository(), cfg.KubernetesVersion, cfg.UnifiedControlPlaneImage),
  15. Command: getControllerManagerCommand(cfg, k8sVersion),
  16. VolumeMounts: staticpodutil.VolumeMountMapToSlice(mounts.GetVolumeMounts(kubeadmconstants.KubeControllerManager)),
  17. LivenessProbe: staticpodutil.ComponentProbe(cfg, kubeadmconstants.KubeControllerManager, 10252, “/healthz”, v1.URISchemeHTTP),
  18. Resources: staticpodutil.ComponentResources(“200m”),
  19. Env: getProxyEnvVars(),
  20. }, mounts.GetVolumes(kubeadmconstants.KubeControllerManager)),
  21. kubeadmconstants.KubeScheduler: staticpodutil.ComponentPod(v1.Container{
  22. Name: kubeadmconstants.KubeScheduler,
  23. Image: images.GetCoreImage(kubeadmconstants.KubeScheduler, cfg.GetControlPlaneImageRepository(), cfg.KubernetesVersion, cfg.UnifiedControlPlaneImage),
  24. Command: getSchedulerCommand(cfg),
  25. VolumeMounts: staticpodutil.VolumeMountMapToSlice(mounts.GetVolumeMounts(kubeadmconstants.KubeScheduler)),
  26. LivenessProbe: staticpodutil.ComponentProbe(cfg, kubeadmconstants.KubeScheduler, 10251, “/healthz”, v1.URISchemeHTTP),
  27. Resources: staticpodutil.ComponentResources(“100m”),
  28. Env: getProxyEnvVars(),
  29. }, mounts.GetVolumes(kubeadmconstants.KubeScheduler)),
  30. }
  32. //获取特定版本的镜像
  33. func GetCoreImage(image, repoPrefix, k8sVersion, overrideImage string) string {
  34. if overrideImage != “” {
  35. return overrideImage
  36. }
  37. kubernetesImageTag := kubeadmutil.KubernetesVersionToImageTag(k8sVersion)
  38. etcdImageTag := constants.DefaultEtcdVersion
  39. etcdImageVersion, err := constants.EtcdSupportedVersion(k8sVersion)
  40. if err == nil {
  41. etcdImageTag = etcdImageVersion.String()
  42. }
  43. return map[string]string{
  44. constants.Etcd: fmt.Sprintf(“%s/%s-%s:%s”, repoPrefix, “etcd”, runtime.GOARCH, etcdImageTag),
  45. constants.KubeAPIServer: fmt.Sprintf(“%s/%s-%s:%s”, repoPrefix, “kube-apiserver”, runtime.GOARCH, kubernetesImageTag),
  46. constants.KubeControllerManager: fmt.Sprintf(“%s/%s-%s:%s”, repoPrefix, “kube-controller-manager”, runtime.GOARCH, kubernetesImageTag),
  47. constants.KubeScheduler: fmt.Sprintf(“%s/%s-%s:%s”, repoPrefix, “kube-scheduler”, runtime.GOARCH, kubernetesImageTag),
  48. }[image]
  49. }
  50. //然后就把这个pod写到文件里了，比较简单
  51. staticpodutil.WriteStaticPodToDisk(componentName, manifestDir, spec);

创建etcd的一样，不多废话

等待kubelet启动成功

这个错误非常容易遇到，看到这个基本就是kubelet没起来，我们需要检查：selinux swap 和Cgroup driver是不是一致 setenforce 0 && swapoff -a && systemctl restart kubelet如果不行请保证 kubelet的Cgroup driver与docker一致，docker info|grep Cg

  1. go func(errC chan error, waiter apiclient.Waiter) {
  2. // This goroutine can only make kubeadm init fail. If this check succeeds, it won’t do anything special
  3. if err := waiter.WaitForHealthyKubelet(40*time.Second, “http://localhost:10255/healthz”); err != nil {
  4. errC <- err
  5. }
  6. }(errorChan, waiter)
  8. go func(errC chan error, waiter apiclient.Waiter) {
  9. // This goroutine can only make kubeadm init fail. If this check succeeds, it won’t do anything special
  10. if err := waiter.WaitForHealthyKubelet(60*time.Second, “http://localhost:10255/healthz/syncloop”); err != nil {
  11. errC <- err
  12. }
  13. }(errorChan, waiter)

创建DNS和kubeproxy

我就是在此发现coreDNS的

  1. if features.Enabled(cfg.FeatureGates, features.CoreDNS) {
  2. return coreDNSAddon(cfg, client, k8sVersion)
  3. }
  4. return kubeDNSAddon(cfg, client, k8sVersion)

然后coreDNS的yaml配置模板直接是写在代码里的： /app/phases/addons/dns/manifests.go

  1. CoreDNSDeployment = `
  2. apiVersion: apps/v1beta2
  3. kind: Deployment
  4. metadata:
  5. name: coredns
  6. namespace: kube-system
  7. labels:
  8. k8s-app: kube-dns
  9. spec:
  10. replicas: 1
  11. selector:
  12. matchLabels:
  13. k8s-app: kube-dns
  14. template:
  15. metadata:
  16. labels:
  17. k8s-app: kube-dns
  18. spec:
  19. serviceAccountName: coredns
  20. tolerations:
  21. – key: CriticalAddonsOnly
  22. operator: Exists
  23. – key: {{ .MasterTaintKey }}
  24. …

然后渲染模板，最后调用k8sapi创建,这种创建方式可以学习一下，虽然有点拙劣，这地方写的远不如kubectl好

  1. coreDNSConfigMap := &v1.ConfigMap{}
  2. if err := kuberuntime.DecodeInto(legacyscheme.Codecs.UniversalDecoder(), configBytes, coreDNSConfigMap); err != nil {
  3. return fmt.Errorf(“unable to decode CoreDNS configmap %v”, err)
  4. }
  6. // Create the ConfigMap for CoreDNS or update it in case it already exists
  7. if err := apiclient.CreateOrUpdateConfigMap(client, coreDNSConfigMap); err != nil {
  8. return err
  9. }
  11. coreDNSClusterRoles := &rbac.ClusterRole{}
  12. if err := kuberuntime.DecodeInto(legacyscheme.Codecs.UniversalDecoder(), []byte(CoreDNSClusterRole), coreDNSClusterRoles); err != nil {
  13. return fmt.Errorf(“unable to decode CoreDNS clusterroles %v”, err)
  14. }
  15. …

这里值得一提的是kubeproxy的configmap真应该把apiserver地址传入进来，允许自定义，因为做高可用时需要指定虚拟ip，得修改，很麻烦 kubeproxy大差不差，不说了,想改的话改： app/phases/addons/proxy/manifests.go

kubeadm join

kubeadm join比较简单，一句话就可以说清楚，获取cluster info, 创建kubeconfig，怎么创建的kubeinit里面已经说了。带上token让kubeadm有权限 可以拉取

  1. return https.RetrieveValidatedClusterInfo(cfg.DiscoveryFile)
  3. cluster info内容
  4. type Cluster struct {
  5. // LocationOfOrigin indicates where this object came from. It is used for round tripping config post-merge, but never serialized.
  6. LocationOfOrigin string
  7. // Server is the address of the kubernetes cluster (https://hostname:port).
  8. Server string `json:”server”`
  9. // InsecureSkipTLSVerify skips the validity check for the server’s certificate. This will make your HTTPS connections insecure.
  10. // +optional
  11. InsecureSkipTLSVerify bool `json:”insecure-skip-tls-verify,omitempty”`
  12. // CertificateAuthority is the path to a cert file for the certificate authority.
  13. // +optional
  14. CertificateAuthority string `json:”certificate-authority,omitempty”`
  15. // CertificateAuthorityData contains PEM-encoded certificate authority certificates. Overrides CertificateAuthority
  16. // +optional
  17. CertificateAuthorityData []byte `json:”certificate-authority-data,omitempty”`
  18. // Extensions holds additional information. This is useful for extenders so that reads and writes don’t clobber unknown fields
  19. // +optional
  20. Extensions map[string]runtime.Object `json:”extensions,omitempty”`
  21. }
  23. return kubeconfigutil.CreateWithToken(
  24. clusterinfo.Server,
  25. “kubernetes”,
  26. TokenUser,
  27. clusterinfo.CertificateAuthorityData,
  28. cfg.TLSBootstrapToken,
  29. ), nil

CreateWithToken上文提到了不再赘述，这样就能去生成kubelet配置文件了，然后把kubelet启动起来即可

kubeadm join的问题就是渲染配置时没有使用命令行传入的apiserver地址，而用clusterinfo里的地址，这不利于我们做高可用，可能我们传入一个虚拟ip，但是配置里还是apiser的地址 +++ author = “fanux” date = “2014-07-11T10:54:24+02:00” draft = false title = “kubeadm源码分析” tags = [“event”,”dotScale”,”sketchnote”] image = “images/2014/Jul/titledotscale.png” comments = true # set false to hide Disqus comments share = true # set false to share buttons menu = “” # set “main” to add this content to the main menu +++

k8s离线安装包 三步安装，简单到难以置信

kubeadm源码分析

说句实在话，kubeadm的代码写的真心一般，质量不是很高。

几个关键点来先说一下kubeadm干的几个核心的事：

  • kubeadm 生成证书在/etc/kubernetes/pki目录下
  • kubeadm 生成static pod yaml配置，全部在/etc/kubernetes/manifasts下
  • kubeadm 生成kubelet配置，kubectl配置等 在/etc/kubernetes下
  • kubeadm 通过client go去启动dns

kubeadm init

代码入口 cmd/kubeadm/app/cmd/init.go 建议大家去看看cobra

找到Run函数来分析下主要流程：

  1. 如果证书不存在，就创建证书，所以如果我们有自己的证书可以把它放在/etc/kubernetes/pki下即可, 下文细看如果生成证书
  1. if res, _ := certsphase.UsingExternalCA(i.cfg); !res {
  2. if err := certsphase.CreatePKIAssets(i.cfg); err != nil {
  3. return err
  4. }
  1. 创建kubeconfig文件
  1. if err := kubeconfigphase.CreateInitKubeConfigFiles(kubeConfigDir, i.cfg); err != nil {
  2. return err
  3. }
  1. 创建manifest文件，etcd apiserver manager scheduler都在这里创建, 可以看到如果你的配置文件里已经写了etcd的地址了，就不创建了，这我们就可以自己装etcd集群，而不用默认单点的etcd，很有用
  1. controlplanephase.CreateInitStaticPodManifestFiles(manifestDir, i.cfg);
  2. if len(i.cfg.Etcd.Endpoints) == 0 {
  3. if err := etcdphase.CreateLocalEtcdStaticPodManifestFile(manifestDir, i.cfg); err != nil {
  4. return fmt.Errorf(“error creating local etcd static pod manifest file: %v”, err)
  5. }
  6. }
  1. 等待APIserver和kubelet启动成功，这里就会遇到我们经常遇到的镜像拉不下来的错误，其实有时kubelet因为别的原因也会报这个错，让人误以为是镜像弄不下来
  1. if err := waitForAPIAndKubelet(waiter); err != nil {
  2. ctx := map[string]string{
  3. “Error”: fmt.Sprintf(“%v”, err),
  4. “APIServerImage”: images.GetCoreImage(kubeadmconstants.KubeAPIServer, i.cfg.GetControlPlaneImageRepository(), i.cfg.KubernetesVersion, i.cfg.UnifiedControlPlaneImage),
  5. “ControllerManagerImage”: images.GetCoreImage(kubeadmconstants.KubeControllerManager, i.cfg.GetControlPlaneImageRepository(), i.cfg.KubernetesVersion, i.cfg.UnifiedControlPlaneImage),
  6. “SchedulerImage”: images.GetCoreImage(kubeadmconstants.KubeScheduler, i.cfg.GetControlPlaneImageRepository(), i.cfg.KubernetesVersion, i.cfg.UnifiedControlPlaneImage),
  7. }
  9. kubeletFailTempl.Execute(out, ctx)
  11. return fmt.Errorf(“couldn’t initialize a Kubernetes cluster”)
  12. }
  1. 给master加标签，加污点, 所以想要pod调度到master上可以把污点清除了
  1. if err := markmasterphase.MarkMaster(client, i.cfg.NodeName); err != nil {
  2. return fmt.Errorf(“error marking master: %v”, err)
  3. }
  1. 生成tocken
  1. if err := nodebootstraptokenphase.UpdateOrCreateToken(client, i.cfg.Token, false, i.cfg.TokenTTL.Duration, kubeadmconstants.DefaultTokenUsages, []string{kubeadmconstants.NodeBootstrapTokenAuthGroup}, tokenDescription); err != nil {
  2. return fmt.Errorf(“error updating or creating token: %v”, err)
  3. }
  1. 调用clientgo创建dns和kube-proxy
  1. if err := dnsaddonphase.EnsureDNSAddon(i.cfg, client); err != nil {
  2. return fmt.Errorf(“error ensuring dns addon: %v”, err)
  3. }
  5. if err := proxyaddonphase.EnsureProxyAddon(i.cfg, client); err != nil {
  6. return fmt.Errorf(“error ensuring proxy addon: %v”, err)
  7. }

笔者批判代码无脑式的一个流程到底，要是笔者操刀定抽象成接口 RenderConf Save Run Clean等，DNS kube-porxy以及其它组件去实现，然后问题就是没把dns和kubeproxy的配置渲染出来，可能是它们不是static pod的原因, 然后就是join时的bug下文提到

证书生成

循环的调用了这一坨函数，我们只需要看其中一两个即可，其它的都差不多

  1. certActions := []func(cfg *kubeadmapi.MasterConfiguration) error{
  2. CreateCACertAndKeyfiles,
  3. CreateAPIServerCertAndKeyFiles,
  4. CreateAPIServerKubeletClientCertAndKeyFiles,
  5. CreateServiceAccountKeyAndPublicKeyFiles,
  6. CreateFrontProxyCACertAndKeyFiles,
  7. CreateFrontProxyClientCertAndKeyFiles,
  8. }

根证书生成：

  1. //返回了根证书的公钥和私钥
  2. func NewCACertAndKey() (*x509.Certificate, *rsa.PrivateKey, error) {
  4. caCert, caKey, err := pkiutil.NewCertificateAuthority()
  5. if err != nil {
  6. return nil, nil, fmt.Errorf(“failure while generating CA certificate and key: %v”, err)
  7. }
  9. return caCert, caKey, nil
  10. }

k8s.io/client-go/util/cert 这个库里面有两个函数，一个生成key的一个生成cert的：

  1. key, err := certutil.NewPrivateKey()
  2. config := certutil.Config{
  3. CommonName: “kubernetes”,
  4. }
  5. cert, err := certutil.NewSelfSignedCACert(config, key)

config里面我们也可以填充一些别的证书信息：

  1. type Config struct {
  2. CommonName string
  3. Organization []string
  4. AltNames AltNames
  5. Usages []x509.ExtKeyUsage
  6. }

私钥就是封装了rsa库里面的函数：

  1. “crypto/rsa”
  2. “crypto/x509”
  3. func NewPrivateKey() (*rsa.PrivateKey, error) {
  4. return rsa.GenerateKey(cryptorand.Reader, rsaKeySize)
  5. }

自签证书,所以根证书里只有CommonName信息，Organization相当于没设置：

  1. func NewSelfSignedCACert(cfg Config, key *rsa.PrivateKey) (*x509.Certificate, error) {
  2. now := time.Now()
  3. tmpl := x509.Certificate{
  4. SerialNumber: new(big.Int).SetInt64(0),
  5. Subject: pkix.Name{
  6. CommonName: cfg.CommonName,
  7. Organization: cfg.Organization,
  8. },
  9. NotBefore: now.UTC(),
  10. NotAfter: now.Add(duration365d * 10).UTC(),
  11. KeyUsage: x509.KeyUsageKeyEncipherment | x509.KeyUsageDigitalSignature | x509.KeyUsageCertSign,
  12. BasicConstraintsValid: true,
  13. IsCA: true,
  14. }
  16. certDERBytes, err := x509.CreateCertificate(cryptorand.Reader, &tmpl, &tmpl, key.Public(), key)
  17. if err != nil {
  18. return nil, err
  19. }
  20. return x509.ParseCertificate(certDERBytes)
  21. }

生成好之后把之写入文件：

  1. pkiutil.WriteCertAndKey(pkiDir, baseName, cert, key);
  2. certutil.WriteCert(certificatePath, certutil.EncodeCertPEM(cert))

这里调用了pem库进行了编码

  1. encoding/pem
  3. func EncodeCertPEM(cert *x509.Certificate) []byte {
  4. block := pem.Block{
  5. Type: CertificateBlockType,
  6. Bytes: cert.Raw,
  7. }
  8. return pem.EncodeToMemory(&block)
  9. }

然后我们看apiserver的证书生成：

  1. caCert, caKey, err := loadCertificateAuthorithy(cfg.CertificatesDir, kubeadmconstants.CACertAndKeyBaseName)
  2. //从根证书生成apiserver证书
  3. apiCert, apiKey, err := NewAPIServerCertAndKey(cfg, caCert, caKey)

这时需要关注AltNames了比较重要，所有需要访问master的地址域名都得加进去，对应配置文件中apiServerCertSANs字段,其它东西与根证书无差别

  1. config := certutil.Config{
  2. CommonName: kubeadmconstants.APIServerCertCommonName,
  3. AltNames: *altNames,
  4. Usages: []x509.ExtKeyUsage{x509.ExtKeyUsageServerAuth},
  5. }

创建k8s配置文件

可以看到创建了这些文件

  1. return createKubeConfigFiles(
  2. outDir,
  3. cfg,
  4. kubeadmconstants.AdminKubeConfigFileName,
  5. kubeadmconstants.KubeletKubeConfigFileName,
  6. kubeadmconstants.ControllerManagerKubeConfigFileName,
  7. kubeadmconstants.SchedulerKubeConfigFileName,
  8. )

k8s封装了两个渲染配置的函数： 区别是你的kubeconfig文件里会不会产生token，比如你进入dashboard需要一个token，或者你调用api需要一个token那么请生成带token的配置 生成的conf文件基本一直只是比如ClientName这些东西不同，所以加密后的证书也不同，ClientName会被加密到证书里，然后k8s取出来当用户使用

所以重点来了，我们做多租户时也要这样去生成。然后给该租户绑定角色。

  1. return kubeconfigutil.CreateWithToken(
  2. spec.APIServer,
  3. “kubernetes”,
  4. spec.ClientName,
  5. certutil.EncodeCertPEM(spec.CACert),
  6. spec.TokenAuth.Token,
  7. ), nil
  9. return kubeconfigutil.CreateWithCerts(
  10. spec.APIServer,
  11. “kubernetes”,
  12. spec.ClientName,
  13. certutil.EncodeCertPEM(spec.CACert),
  14. certutil.EncodePrivateKeyPEM(clientKey),
  15. certutil.EncodeCertPEM(clientCert),
  16. ), nil

然后就是填充Config结构体喽, 最后写到文件里，略

  1. “k8s.io/client-go/tools/clientcmd/api
  2. return &clientcmdapi.Config{
  3. Clusters: map[string]*clientcmdapi.Cluster{
  4. clusterName: {
  5. Server: serverURL,
  6. CertificateAuthorityData: caCert,
  7. },
  8. },
  9. Contexts: map[string]*clientcmdapi.Context{
  10. contextName: {
  11. Cluster: clusterName,
  12. AuthInfo: userName,
  13. },
  14. },
  15. AuthInfos: map[string]*clientcmdapi.AuthInfo{},
  16. CurrentContext: contextName,
  17. }

创建static pod yaml文件

这里返回了apiserver manager scheduler的pod结构体,

  1. specs := GetStaticPodSpecs(cfg, k8sVersion)
  2. staticPodSpecs := map[string]v1.Pod{
  3. kubeadmconstants.KubeAPIServer: staticpodutil.ComponentPod(v1.Container{
  4. Name: kubeadmconstants.KubeAPIServer,
  5. Image: images.GetCoreImage(kubeadmconstants.KubeAPIServer, cfg.GetControlPlaneImageRepository(), cfg.KubernetesVersion, cfg.UnifiedControlPlaneImage),
  6. Command: getAPIServerCommand(cfg, k8sVersion),
  7. VolumeMounts: staticpodutil.VolumeMountMapToSlice(mounts.GetVolumeMounts(kubeadmconstants.KubeAPIServer)),
  8. LivenessProbe: staticpodutil.ComponentProbe(cfg, kubeadmconstants.KubeAPIServer, int(cfg.API.BindPort), “/healthz”, v1.URISchemeHTTPS),
  9. Resources: staticpodutil.ComponentResources(“250m”),
  10. Env: getProxyEnvVars(),
  11. }, mounts.GetVolumes(kubeadmconstants.KubeAPIServer)),
  12. kubeadmconstants.KubeControllerManager: staticpodutil.ComponentPod(v1.Container{
  13. Name: kubeadmconstants.KubeControllerManager,
  14. Image: images.GetCoreImage(kubeadmconstants.KubeControllerManager, cfg.GetControlPlaneImageRepository(), cfg.KubernetesVersion, cfg.UnifiedControlPlaneImage),
  15. Command: getControllerManagerCommand(cfg, k8sVersion),
  16. VolumeMounts: staticpodutil.VolumeMountMapToSlice(mounts.GetVolumeMounts(kubeadmconstants.KubeControllerManager)),
  17. LivenessProbe: staticpodutil.ComponentProbe(cfg, kubeadmconstants.KubeControllerManager, 10252, “/healthz”, v1.URISchemeHTTP),
  18. Resources: staticpodutil.ComponentResources(“200m”),
  19. Env: getProxyEnvVars(),
  20. }, mounts.GetVolumes(kubeadmconstants.KubeControllerManager)),
  21. kubeadmconstants.KubeScheduler: staticpodutil.ComponentPod(v1.Container{
  22. Name: kubeadmconstants.KubeScheduler,
  23. Image: images.GetCoreImage(kubeadmconstants.KubeScheduler, cfg.GetControlPlaneImageRepository(), cfg.KubernetesVersion, cfg.UnifiedControlPlaneImage),
  24. Command: getSchedulerCommand(cfg),
  25. VolumeMounts: staticpodutil.VolumeMountMapToSlice(mounts.GetVolumeMounts(kubeadmconstants.KubeScheduler)),
  26. LivenessProbe: staticpodutil.ComponentProbe(cfg, kubeadmconstants.KubeScheduler, 10251, “/healthz”, v1.URISchemeHTTP),
  27. Resources: staticpodutil.ComponentResources(“100m”),
  28. Env: getProxyEnvVars(),
  29. }, mounts.GetVolumes(kubeadmconstants.KubeScheduler)),
  30. }
  32. //获取特定版本的镜像
  33. func GetCoreImage(image, repoPrefix, k8sVersion, overrideImage string) string {
  34. if overrideImage != “” {
  35. return overrideImage
  36. }
  37. kubernetesImageTag := kubeadmutil.KubernetesVersionToImageTag(k8sVersion)
  38. etcdImageTag := constants.DefaultEtcdVersion
  39. etcdImageVersion, err := constants.EtcdSupportedVersion(k8sVersion)
  40. if err == nil {
  41. etcdImageTag = etcdImageVersion.String()
  42. }
  43. return map[string]string{
  44. constants.Etcd: fmt.Sprintf(“%s/%s-%s:%s”, repoPrefix, “etcd”, runtime.GOARCH, etcdImageTag),
  45. constants.KubeAPIServer: fmt.Sprintf(“%s/%s-%s:%s”, repoPrefix, “kube-apiserver”, runtime.GOARCH, kubernetesImageTag),
  46. constants.KubeControllerManager: fmt.Sprintf(“%s/%s-%s:%s”, repoPrefix, “kube-controller-manager”, runtime.GOARCH, kubernetesImageTag),
  47. constants.KubeScheduler: fmt.Sprintf(“%s/%s-%s:%s”, repoPrefix, “kube-scheduler”, runtime.GOARCH, kubernetesImageTag),
  48. }[image]
  49. }
  50. //然后就把这个pod写到文件里了，比较简单
  51. staticpodutil.WriteStaticPodToDisk(componentName, manifestDir, spec);

创建etcd的一样，不多废话

等待kubelet启动成功

这个错误非常容易遇到，看到这个基本就是kubelet没起来，我们需要检查：selinux swap 和Cgroup driver是不是一致 setenforce 0 && swapoff -a && systemctl restart kubelet如果不行请保证 kubelet的Cgroup driver与docker一致，docker info|grep Cg

  1. go func(errC chan error, waiter apiclient.Waiter) {
  2. // This goroutine can only make kubeadm init fail. If this check succeeds, it won’t do anything special
  3. if err := waiter.WaitForHealthyKubelet(40*time.Second, “http://localhost:10255/healthz”); err != nil {
  4. errC <- err
  5. }
  6. }(errorChan, waiter)
  8. go func(errC chan error, waiter apiclient.Waiter) {
  9. // This goroutine can only make kubeadm init fail. If this check succeeds, it won’t do anything special
  10. if err := waiter.WaitForHealthyKubelet(60*time.Second, “http://localhost:10255/healthz/syncloop”); err != nil {
  11. errC <- err
  12. }
  13. }(errorChan, waiter)

创建DNS和kubeproxy

我就是在此发现coreDNS的

  1. if features.Enabled(cfg.FeatureGates, features.CoreDNS) {
  2. return coreDNSAddon(cfg, client, k8sVersion)
  3. }
  4. return kubeDNSAddon(cfg, client, k8sVersion)

然后coreDNS的yaml配置模板直接是写在代码里的： /app/phases/addons/dns/manifests.go

  1. CoreDNSDeployment = `
  2. apiVersion: apps/v1beta2
  3. kind: Deployment
  4. metadata:
  5. name: coredns
  6. namespace: kube-system
  7. labels:
  8. k8s-app: kube-dns
  9. spec:
  10. replicas: 1
  11. selector:
  12. matchLabels:
  13. k8s-app: kube-dns
  14. template:
  15. metadata:
  16. labels:
  17. k8s-app: kube-dns
  18. spec:
  19. serviceAccountName: coredns
  20. tolerations:
  21. – key: CriticalAddonsOnly
  22. operator: Exists
  23. – key: {{ .MasterTaintKey }}
  24. …

然后渲染模板，最后调用k8sapi创建,这种创建方式可以学习一下，虽然有点拙劣，这地方写的远不如kubectl好

  1. coreDNSConfigMap := &v1.ConfigMap{}
  2. if err := kuberuntime.DecodeInto(legacyscheme.Codecs.UniversalDecoder(), configBytes, coreDNSConfigMap); err != nil {
  3. return fmt.Errorf(“unable to decode CoreDNS configmap %v”, err)
  4. }
  6. // Create the ConfigMap for CoreDNS or update it in case it already exists
  7. if err := apiclient.CreateOrUpdateConfigMap(client, coreDNSConfigMap); err != nil {
  8. return err
  9. }
  11. coreDNSClusterRoles := &rbac.ClusterRole{}
  12. if err := kuberuntime.DecodeInto(legacyscheme.Codecs.UniversalDecoder(), []byte(CoreDNSClusterRole), coreDNSClusterRoles); err != nil {
  13. return fmt.Errorf(“unable to decode CoreDNS clusterroles %v”, err)
  14. }
  15. …

这里值得一提的是kubeproxy的configmap真应该把apiserver地址传入进来，允许自定义，因为做高可用时需要指定虚拟ip，得修改，很麻烦 kubeproxy大差不差，不说了,想改的话改： app/phases/addons/proxy/manifests.go

kubeadm join

kubeadm join比较简单，一句话就可以说清楚，获取cluster info, 创建kubeconfig，怎么创建的kubeinit里面已经说了。带上token让kubeadm有权限 可以拉取

  1. return https.RetrieveValidatedClusterInfo(cfg.DiscoveryFile)
  3. cluster info内容
  4. type Cluster struct {
  5. // LocationOfOrigin indicates where this object came from. It is used for round tripping config post-merge, but never serialized.
  6. LocationOfOrigin string
  7. // Server is the address of the kubernetes cluster (https://hostname:port).
  8. Server string `json:”server”`
  9. // InsecureSkipTLSVerify skips the validity check for the server’s certificate. This will make your HTTPS connections insecure.
  10. // +optional
  11. InsecureSkipTLSVerify bool `json:”insecure-skip-tls-verify,omitempty”`
  12. // CertificateAuthority is the path to a cert file for the certificate authority.
  13. // +optional
  14. CertificateAuthority string `json:”certificate-authority,omitempty”`
  15. // CertificateAuthorityData contains PEM-encoded certificate authority certificates. Overrides CertificateAuthority
  16. // +optional
  17. CertificateAuthorityData []byte `json:”certificate-authority-data,omitempty”`
  18. // Extensions holds additional information. This is useful for extenders so that reads and writes don’t clobber unknown fields
  19. // +optional
  20. Extensions map[string]runtime.Object `json:”extensions,omitempty”`
  21. }
  23. return kubeconfigutil.CreateWithToken(
  24. clusterinfo.Server,
  25. “kubernetes”,
  26. TokenUser,
  27. clusterinfo.CertificateAuthorityData,
  28. cfg.TLSBootstrapToken,
  29. ), nil

CreateWithToken上文提到了不再赘述，这样就能去生成kubelet配置文件了，然后把kubelet启动起来即可

kubeadm join的问题就是渲染配置时没有使用命令行传入的apiserver地址，而用clusterinfo里的地址，这不利于我们做高可用，可能我们传入一个虚拟ip，但是配置里还是apiser的地址

本文转自kubernetes中文社区-kubeadm源码分析（内含kubernetes离线包，三步安装）

上一篇 下一篇
优秀的个人博客,低调大师

微信关注我们

原文链接：https://yq.aliyun.com/articles/679353

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

在Kubernetes上使用Sateful Set部署RabbitMQ集群

前面我们已经在Kubernetes上部署了Redis – 《在Kubernetes上使用Sateful Set部署Redis》。 本篇我们继续把RabbitMQ也跑在K8S上。 1.RabbitMQ的基础知识 在正式开始部署工作之前，我们先来复习一下RabbitMQ的一些基础知识。 RabbitMQ内建的集群功能可以实现其高可用，允许消费者和生产者在RabbitMQ节点崩溃的情况下继续工作，同时可以通过添加更多的节点来提高消息处理的吞吐量。 RabbitMQ内部主要包含以下四种Meta Data： vhost meta data：为RabbitMQ内部的Queue, Exchange, Binding提供命名空间级别的隔离 exchange meta data：记录Exchange的名称、类型、属性等 binding meta data：表示Routing Key和Queue之间的绑定关系，即描述如何将消息路由到队列Queue中 queue meta data: 记录队列的名称及其属性 单个节点的RabbitMQ会将这些meta data保存到内存中，同时对于那些属性为持久化的信息，例...
2018-12-14
573
上一篇

Kubernetes-基于RKE进行Kubernetes的安装部署

在进行Kubernetes的深入学习之前，首先要做的一件事情就是Kubernetes环境的安装部署。由于Kubernetes本身的复杂性，因此决定安装过程相当较为复杂，在安装过程中需要考虑诸多的因素。在本文中，将使用Kubernetes的轻量级工具——Rancher Kubernetes Engine（RKE）进行Kubernetes的安装部署。RKE是一个用Golang编写的Kubernetes安装程序，相对于其它的工具来说，更加简单易用和上手。 1、环境准备 1.1 操作系统 1）建议使用Ubuntu 16.04.3 LTS版本；如果使用CentOS 7，建议7.3以上版本； 序号 角色 操作系统 IP 主机 1 RKE CentOS7 10.0.32.134 rancher-server 2 etcd CentOS7 10.0.32.175 rancher2-server 3 Master Node CentOS7 10.0.32.175 rachenr2-server 4 Worker Node CentOS7 10.0.32.177 rancher2-node01 5 Wor...
2018-12-14
494
下一篇

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

时间: 2025-12-03 大小: 4.36MB 下载: 23次
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
手机查看

扫码在手机上查看文章

扫描二维码，手机阅读更方便

热门标签
Rocky HarmonyOS6 Service Mesh Nacos3 Jdk25 Docker Redis Kubernetes Gemini3 SpringBoot4 SpringCloud DeepSeek OpenAi

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册