在阿里云ACK集群中部署有状态服务通常使用云盘数据卷做数据存储，云盘本身提供了数据的备份（快照）恢复机制，但是如何将底层能力和K8S服务集成并灵活的提供给应用使用，是云原生存储服务需要解决的问题。K8S使用如下两个特性来实现备份恢复能力：

通过VolumeSnapshot对象实现云盘的备份（快照功能）；

通过PVC中的DataSource功能实现数据的恢复（快照恢复）；

由于VolumeSnapshot在K8S 1.16版本处于Alpha状态，所以ACK集群当前没有默认部署快照功能，需要手动安装插件才能使用；

K8S快照说明：

在Kubernetes中为了实现快照相关功能，通过CRD定义了下面3个相关资源类型：

VolumeSnapshotContent：描述存储后端的快照实例，由系统管理员创建维护，无NameSpace；类比于PV概念；

VolumeSnapshot：声明一个快照实例，由用户创建维护，属于特定NameSpace；类比于PVC概念；

VolumeSnapshotClass：定义一个快照类，描述创建快照使用的参数、Controller；类比于StorageClass概念；

快照资源绑定规则：

在使用Snapshot对象时，和pv、pvc一样，VolumeSnapshot与VolumeSnapshotContent需要首先进行绑定；

VolumeSnapshot如果没有静态VolumeSnapshotContent可以绑定，则会创建动态VolumeSnapshotContent；

VolumeSnapshotContent 与 VolumeSnapshot 绑定是一对一；

删除VolumeSnapshotContent 同时会把后端的快照也删除；

1.卷快照模板

下面是一个VolumeSnapshotClass定义模板：

apiVersion: snapshot.storage.k8s.io/v1alpha1
kind: VolumeSnapshotClass
metadata:
  name: default-snapclass
snapshotter: disk-snapshot
parameters:
  forceDelete: "false"

其中：

snapshotter：定义了使用这个快照类的VolumeSnapshot所使用的controller；

forceDelete: 表示是否允许在云盘引用快照的时候删除快照（默认是不允许删除的，因为以快照为数据源创建云盘时，创建过程会有时延，强制删除可能会造成数据丢失）；

下面是一个VolumeSnapshot定义模板：

apiVersion: snapshot.storage.k8s.io/v1alpha1
kind: VolumeSnapshot
metadata:
  name: snapshot-test
spec:
  snapshotClassName: default-snapclass
  source:
    name: pvc-disk
    kind: PersistentVolumeClaim

其中：

VolumeSnapshot中定义：创建快照的数据源（PVC名）、创建快照类名；

快照数据源（PVC）：定义了要为那个云盘卷打快照，通过pvc-pv-handler方式找到disk id；

snapshotClassName：定义了打快照使用的快照类；

通过创建VolumeSnapshot资源，实现创建某个云盘（通过PVC关联）的快照实例；

2.通过快照恢复数据

通过云盘快照创建云盘是阿里云云盘提供的基础功能。在容器服务中通过在pvc定义DataSource指定使用哪个快照，动态创建云盘的时候即可实现使用快照创建云盘；

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: disk-snapshot
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: alicloud-disk-ssd
  dataSource:
    name: snapshot-test
    kind: VolumeSnapshot
    apiGroup: snapshot.storage.k8s.io
  resources:
    requests:
      storage: 20Gi

其中：

storageClassName：定创建pv的存储类，指向的disk controller需要支持DataSource特性；

dataSource：指定snapshot资源，说明创建云盘会使用这个快照数据；

插件部署：

部署csi-snapshotter前，您需要创建一个ACK 1.16版本集群，并在创建集群的时候选择使用CSI插件；集群创建

下载csi-snapshotter模板：https://github.com/kubernetes-sigs/alibaba-cloud-csi-driver/blob/master/deploy/disk/snapshot/csi-snapshotter.yaml

部署插件：

$ kubectl apply -f csi-snapshotter.yaml

部署完成后集群中csi插件如下：

# kubectl get pod -nkube-system |grep csi
csi-plugin-25xhh                                    9/9     Running   0          28h
csi-plugin-5xjqh                                    9/9     Running   0          28h
csi-plugin-9p4kd                                    9/9     Running   0          28h
csi-plugin-tmlmg                                    9/9     Running   0          28h
csi-plugin-tw57q                                    9/9     Running   0          28h
csi-provisioner-577d66cbb7-zks24                    8/8     Running   0          161m
csi-provisioner-577d66cbb7-kja32                    8/8     Running   0          161m
csi-snapshotter-859bdf8888-mq4dk                    2/2     Running   0          161m

使用：

下图是一个使用示例流程图，分成1、2、3三个步骤：

步骤1：创建原始应用，创建云盘卷保存数据；

步骤2：创建VolumeSnapshot，这时会自动创建VolumeSnapshotContent和存储端的快照实例；

步骤3：创建新的应用，并配置PVC引用步骤2中创建的快照对象；

通过上述三步实现了：

备份：Volume1中的数据备份到Snapshot1；

恢复：Snapshot1的数据（Volume1的数据）恢复成Volume2卷；

创建VolumeSnapshotClass快照类：

$ kubectl apply -f volumesnapshotcalss.yaml

apiVersion: snapshot.storage.k8s.io/v1alpha1
kind: VolumeSnapshotClass
metadata:
  name: default-snapclass
snapshotter: diskplugin.csi.alibabacloud.com
parameters:
  forceDelete: "true"

# kubectl get VolumeSnapshotClass
NAME                AGE
default-snapclass   4h40m

步骤1：创建原始应用并写入数据：

$ kubectl apply -f sts.yaml

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: web
spec:
  selector:
    matchLabels:
      app: nginx
  serviceName: "nginx"
  replicas: 1
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx
        volumeMounts:
        - name: disk-ssd
          mountPath: /data
  volumeClaimTemplates:
  - metadata:
      name: disk-ssd
    spec:
      accessModes: [ "ReadWriteOnce" ]
      storageClassName: "alicloud-disk-snap"
      resources:
        requests:
          storage: 20Gi

往pod中写入数据：

# kubectl exec -ti web-0 touch /data/test
# kubectl exec -ti web-0 ls /data
lost+found  test

步骤2：创建VolumeSnapshot：

$ kubectl apply -f snapshot.yaml

apiVersion: snapshot.storage.k8s.io/v1alpha1
kind: VolumeSnapshot
metadata:
  name: new-snapshot-test
spec:
  snapshotClassName: default-snapclass
  source:
    name: disk-ssd-web-0
    kind: PersistentVolumeClaim

检查集群状态，VolumeSnapshot、VolumeSnapshotContent创建完成，同时到ECS控制台查看快照实例也创建完成：

# kubectl get VolumeSnapshot
NAME                AGE
new-snapshot-test   173m

# kubectl get VolumeSnapshotContent
NAME                                               AGE
snapcontent-b9bcccde-9ea4-41f0-967d-3647b8a5cc29   173m

步骤3：数据恢复

$ kubectl apply -f sts-snapshot.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: disk-snapshot-restore
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: alicloud-disk-snap
  resources:
    requests:
      storage: 20Gi
  dataSource:
    name: new-snapshot-test
    kind: VolumeSnapshot
    apiGroup: snapshot.storage.k8s.io
---
apiVersion: apps/v1beta2
kind: StatefulSet
metadata:
  name: web-restore
spec:
  selector:
    matchLabels:
      app: nginx
  serviceName: "nginx"
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx
        ports:
        - containerPort: 80
          name: web
        volumeMounts:
        - name: pvc-disk
          mountPath: /data
      volumes:
        - name: pvc-disk
          persistentVolumeClaim:
            claimName: disk-snapshot-restore

在PVC定义中指定dataSource为VolumeSnapshot类型，且选择步骤2创建的名字为new-snapshot-test的VolumeSnapshot。

查看容器数据，验证是否恢复成功：

# kubectl exec -ti web-restore-0 ls /data
lost+found  test

可见实现了数据的恢复。

本方案只给出了创建一个快照并进行恢复的场景，后续我们会提供创建定时快照的方案。