为什么选择 Kubernetes

容器是打包和运行应用程序的好方式。在生产环境中，我们需要管理运行应用程序的容器，并确保不会停机。如果一个容器发生故障，则需要启动另一个容器。如果系统处理此行为，会不会更便捷？这就是 Kubernetes（后文简称K8s） 的价值所在，它为你提供了一个可弹性运行分布式系统的框架。K8s 用于管理容器化的工作负载和服务，可促进声明式配置和自动化。 同时，k8s 为你提供了自动部署和回滚、服务发现和负载均衡、存储编排、自我修复、密钥与配置管理等很多功能。即使有一些关于 k8s 复杂性的抱怨，我们仍然坚信它带来的益处远大于复杂性成本。  

Kubernetes 如何维护应用状态

Kubernetes 在其早期阶段主要针对无状态应用程序（不管理自己的持久性数据的应用程序），这一特性直到 k8s 引入了 persistent volumes（持久卷）和 StatefulSet 后得到了提升。通常，当 Kubernetes 容器死亡时，它将被具有新标识（包括新IP地址和主机名）的新容器替换。但是，StatefulSet功能可确保每个 Pod 具有自己的稳定身份（可通过DNS解析），无论它被重启了多少次。这对云溪数据库（云溪数据库）很有用，因为这意味着每次更换或重启 Pod 时，我们不必将其视为集群中的新节点，也避免了大量数据复制。这对于支持 云溪数据库的共识协议和分布式事务非常重要。作为云原生数据库，云溪数据库可以容忍丢失单个数据节点的数据丢失，它能检测到集群中缺失的副本，并自动添加新副本。出于降低延迟的考虑，我们推荐您使用本地磁盘作为存储，虽然远程存储允许副本在不丢失数据的情况下移动。  

为什么在 Kubernetes 上使用云溪数据库

多数情况下，在 K8s 上部署、运维云溪数据库比在物理机或虚拟机上更方便。这主要因为 云溪数据库是单个可执行文件，可通过每个节点提供到数据库的通用网关。每个节点都是全对等的，唯一的区别是该节点管理的是哪部分数据。当遇到间歇性故障或进行滚动升级时， K8s 助力于数据库集群的快速恢复。尽管 K8s 带来许多诸多的便利，我们仍然要权衡 k8s 带给我们的弹性与通过物理机或虚拟机获得更高性能的利弊。即使在物理机或虚拟机上维护数据库需要更多的人工操作，但获得的最佳性能比 k8s 上要好。

云溪数据库如何运行在 Kubernetes 上

一、创建数据库集群

1.如果您没有使用网络存储而是本地存储卷时，需要创建3个 persistent volumes（持久卷）来提供给 pod 使用：

$ kubectl apply -f pv0.yaml -f pv1.yaml -f pv2.yaml

可参考以下的持久卷（pv）yaml文件：

apiVersion: v1
kind: PersistentVolume
metadata:
 name: pv-bini-0
 labels:
   app: bini
spec:
 capacity:
   storage: 10Gi
 volumeMode: Filesystem
 accessModes:
 - ReadWriteOnce
 storageClassName: local
 persistentVolumeReclaimPolicy: Retain
 local:
   path: /home/inspur/pv/pv0
 nodeAffinity:
   required:
     nodeSelectorTerms:
     - matchExpressions:
       - key: kubernetes.io/hostname
         operator: In
         values: ['slave1']

2.在准备好 Kubernetes 的环境后，您可以使用 yaml 文件去创建 StatefulSet 来创建数据库集群：

$ kubectl create -f bini-statefulset.yaml
service/bini-public created
service/bini created
poddisruptionbudget.policy/bini-budget created
statefulset.apps/bini created

3.由于我们还未初始化集群，三个 Pods 处于 running 状态：

$ kubectl get pods
NAME     READY     STATUS    RESTARTS   AGE
bini-0   0/1       Running   0          1m
bini-1   0/1       Running   0          1m
bini-2   0/1       Running   0          1m

4.查看本地持久卷声明与本地持久卷已经成功绑定：

$ kubectl get persistentvolumeclaims
NAME             STATUS   VOLUME      CAPACITY   ACCESS MODES   STORAGECLASS   AGE
datadir-bini-0   Bound    pv-bini-1   1Gi        RWO            local          2m
datadir-bini-1   Bound    pv-bini-0   1Gi        RWO            local          2m
datadir-bini-2   Bound    pv-bini-2   1Gi        RWO            local          2m

5.创建集群初始化的 yaml 文件：

$ kubectl create -f cluster-init.yaml
job.batch/cluster-init created

6.用于初始化的 job 将很快处于 completed 状态：

$ kubectl get job cluster-init
NAME           COMPLETIONS   DURATION   AGE
cluster-init   1/1           10s        30s

数据库节点的三个 pods 也将处于 running 状态：

$ kubectl get pods
NAME                 READY   STATUS      RESTARTS   AGE
cluster-init-bw928   0/1     Completed   0          50s
bini-0               1/1     Running     0          3m23s
bini-1               1/1     Running     0          3m23s
bini-2               1/1     Running     0          3m23s

二、使用内置的 SQL 客户端：

1.启动一个临时的交互式 pod 并启动其中的内置 SQL 客户端：

$ kubectl run bini -it \
--image=bini:release2.0 \
--rm \
--restart=Never \
-- sql \
--insecure \
--host=bini-public

2.运行一些 SQL 语句：

root@bini-public:26257/defaultdb> create database bank;
root@bini-public:26257/defaultdb> create database bank;
root@bini-public:26257/defaultdb> create table bank.accounts (
name varchar(255),
balance decimal
);
root@bini-public:26257/defaultdb> insert into bank.accounts values ('Andy',100),('Bob',200),('Chris',300);
root@bini-public:26257/defaultdb> select * from bank.accounts;
 name  | balance  
+-------+---------+
 Andy  |     100  
 Bob   |     200  
 Chris |     300  
(3 rows)

3.退出 SQL shell 后这个 pod 也随之删除

root@bini-public:26257/defaultdb> \q

三、通过 Admin UI 查看集群状态

使用 Service 中的 NodePort，将 Admin UI 的端口映射到本地机器的一个端口上，采用 localhost + NodePort 的方式访问。

$ kubectl port-forward service/bini-public --address 0.0.0.0 8080:8080
Forwarding from 0.0.0.0:8080 -> 8080

管理集群

一、增加节点

$ kubectl scale statefulset bini --replicas=4
statefulset.apps/bini scaled

在配置好新的本地持久存储卷后，将看到第4个 pod 成功加入集群：

NAME                 READY   STATUS      RESTARTS   AGE
cluster-init-bw928   0/1     Completed   0          1m39s
bini-0               1/1     Running     0          4m12s
bini-1               1/1     Running     0          4m12s
bini-2               1/1     Running     0          4m12s
bini-3               1/1     Running     0          30s

二、移除节点

1.启动一个临时的交互式pod，并使用bini node status命令获取数据库节点的内部ID：

$ kubectl run bini -it \
--image=bini/release2.0 \
--rm \
--restart=Never \
-- node status \
--insecure \
--host=bini-public
 id |                   address                   |  build  |         started_at         |         updated_at         | is_available | is_live  
+----+---------------------------------------------+---------+----------------------------+----------------------------+--------------+---------+
  1 | bini-0.bini.default.svc.cluster.local:26257 | ff04cdd | 2021-02-04 09:34:47.053657 | 2021-02-05 02:45:31.756302 | true         | true    
  2 | bini-2.bini.default.svc.cluster.local:26257 | ff04cdd | 2021-02-04 09:34:47.814316 | 2021-02-05 02:45:32.464036 | true         | true    
  3 | bini-1.bini.default.svc.cluster.local:26257 | ff04cdd | 2021-02-04 09:34:47.077002 | 2021-02-05 02:45:31.756099 | true         | true    
  4 | bini-3.bini.default.svc.cluster.local:26257 | ff04cdd | 2021-02-05 02:01:14.868258 | 2021-02-05 02:45:29.947311 | true         | true    
(4 rows)

2.注意地址中编号最高的节点的ID（也就是上一步中包含bini-3的地址），并使用bini node decommission命令对其进行停用：

kubectl run bini -it \
--image=bini:release2.0 \
--rm \
--restart=Never \
-- node decommission <node ID> \
--insecure \
--host=bini-public

接下来，您将看到退役节点的状态：

id | is_live | replicas | is_decommissioning | is_draining  
+---+---------+----------+--------------------+-------------+
 4 |  true   |       28 |        true        |    false

节点完全停止运行后，您将看到以下信息：

id | is_live | replicas | is_decommissioning | is_draining  
+---+---------+----------+--------------------+-------------+
 4 |  true   |        0 |        true        |    false    
(1 row)


No more data reported on target nodes. Please verify cluster health before removing the nodes.

3.从 StatefulSet 中移除一个节点：

$ kubectl scale statefulset bini --replicas=3
statefulset "bini" scaled

三、滚动升级

$ kubectl patch statefulset bini -p '{"spec":{"template":{"spec":{"containers":[{"name":"bini","image":"bini:release2.0"}]}}}}'

四、删除集群

删除创建的所有资源

$ kubectl delete pods,statefulsets,services,persistentvolumeclaims,persistentvolumes,poddisruptionbudget,jobs -l app=bini
pod "bini-0" deleted
pod "bini-1" deleted
pod "bini-2" deleted
pod "bini-3" deleted
service "bini" deleted
service "bini-public" deleted
persistentvolumeclaim "datadir-bini-0" deleted
persistentvolumeclaim "datadir-bini-1" deleted
persistentvolumeclaim "datadir-bini-2" deleted
persistentvolumeclaim "datadir-bini-3" deleted
poddisruptionbudget "bini-budget" deleted
job "cluster-init" deleted