使用阿里云CSI插件实现云盘数据卷动态扩容-低调大师

使用阿里云CSI插件实现云盘数据卷动态扩容

2020-02-11 846

使用云盘存储卷，往往在服务初始化的时候申请了一个适当容量的云盘，但是随着数据的增长，数据盘的容量不能满足需求，需要扩容。

传统应用的扩容场景中，往往是先手动停掉应用，再对数据盘进行备份，然后执行扩容操作，最后重新启动应用。

Kubernetes本身是一个自动化调度、编排系统，实现了对数据卷的生命周期管理。在K8S 1.14中，CSI数据卷扩容属于Alpha阶段，需要开启Feature Gates才可以使用；

本文描述在CSI环境中如何进行云盘的动态扩容：

使用说明：

1. 数据备份：

切记：做数据卷扩容前，先对云盘打快照备份，以防扩容过程异常导致数据出现问题；

2. 集群依赖：

对云盘扩容操作需要调用云盘扩容相应API，所以需要集群具有此API的调用权限，可以参考集群权限文档为集群添加此权限；参考详细步骤。

3. 数据卷限制：

只有动态存储卷才可以进行数据卷动态扩容，即配置了StorageClassName的PV；

不支持InlineVolume类型（非PV、PVC方式）云盘数据卷扩容；

普通云盘类型不支持动态扩容，请参考使用手动扩容云盘方案；

3. 对StorageClass的要求：

PVC配置的StorageClass为阿里云云盘类型，provisioner为diskplugin.csi.alibabacloud.com；

StorageClass需要配置：AllowVolumeExpansion: True，ACK集群默认为True；

依赖准备

申请ACK集群（大于等于1.14版本）阿里云Kubernetes集群（申请集群时选择CSI存储插件）；

1. 配置Feature Gate(针对K8S1.14集群)：

由于在K8S 1.14中，resize还是Alpha的Feature，需要增加如下配置：

更新kube-controller-manager 添加Feature Gate:

/etc/kubernetes/manifests/kube-controller-manager.yaml

更新kubelet（如果节点较多，可以写脚本实现）：

/etc/systemd/system/kubelet.service.d/10-kubeadm.conf
systemctl daemon-reload
service kubelet restart

feature gates：--feature-gates=ExpandCSIVolumes=true

2. 集群添加扩容权限：

给云盘扩容需要为集群的”Worker RAM 角色“添加ResizeDisk权限：

专有集群：
在集群 --> 管理 --> 集群资源点击”Master RAM 角色“；编辑Ram权限，添加ResizeDisk如下图：

托管集群：
在集群 --> 管理 --> 集群资源点击”Worker RAM 角色“；编辑Ram权限，添加ResizeDisk如下图：

3. resizer插件部署（针对K8S1.14集群）：

参考以下模板：

kind: Service
apiVersion: v1
metadata:
  name: csi-resizer
  namespace: kube-system
  labels:
    app: csi-resizer
spec:
  selector:
    app: csi-resizer
  ports:
    - name: dummy
      port: 12345
---
kind: StatefulSet
apiVersion: apps/v1
metadata:
  name: csi-resizer
  namespace: kube-system
spec:
  serviceName: "csi-resizer"
  selector:
    matchLabels:
      app: csi-resizer
  template:
    metadata:
      labels:
        app: csi-resizer
    spec:
      tolerations:
      - operator: "Exists"
      affinity:
        nodeAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 1
            preference:
              matchExpressions:
              - key: node-role.kubernetes.io/master
                operator: Exists
      priorityClassName: system-node-critical
      serviceAccount: admin
      hostNetwork: true
      containers:
        - name: csi-resizer
          image: registry.cn-hangzhou.aliyuncs.com/acs/csi-resizer:v0.3.0
          args:
            - "--v=5"
            - "--csi-address=$(ADDRESS)"
            - "--leader-election"
          env:
            - name: ADDRESS
              value: /socketDir/csi.sock
          imagePullPolicy: "Always"
          volumeMounts:
            - name: socket-dir
              mountPath: /socketDir/

        - name: csi-diskplugin
          securityContext:
            privileged: true
            capabilities:
              add: ["SYS_ADMIN"]
            allowPrivilegeEscalation: true
          image: registry.cn-hangzhou.aliyuncs.com/acs/csi-plugin:v1.14.8.32-c77e277b-aliyun
          imagePullPolicy: "Always"
          args:
            - "--endpoint=$(CSI_ENDPOINT)"
            - "--v=5"
            - "--driver=diskplugin.csi.alibabacloud.com"
          env:
            - name: CSI_ENDPOINT
              value: unix://socketDir/csi.sock
          volumeMounts:
            - mountPath: /var/log/
              name: host-log
            - mountPath: /socketDir/
              name: socket-dir
            - name: etc
              mountPath: /host/etc

      volumes:
        - name: socket-dir
          emptyDir: {}
        - name: host-log
          hostPath:
            path: /var/log/
        - name: etc
          hostPath:
            path: /etc
  updateStrategy:
    type: RollingUpdate

云盘卷扩容：

1. 创建应用

创建nginx应用，并给Pod挂载一个20G的云盘数据卷，PVC、Deploy的模板如下：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc-disk
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 20Gi
  storageClassName: alicloud-disk-ssd

apiVersion: apps/v1
kind: Deployment
metadata:
  name: dynamic-create
  labels:
    app: nginx
spec:
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.7.9
        ports:
        - containerPort: 80
        volumeMounts:
          - name: disk-pvc
            mountPath: "/data"
      volumes:
        - name: disk-pvc
          persistentVolumeClaim:
            claimName: pvc-disk

当前应用状态如下：

Pod挂载的云盘大小为20G；
# kubectl get pod
NAME                              READY   STATUS    RESTARTS   AGE
dynamic-create-857bd875b5-n82d4   1/1     Running   0          107s
# kubectl exec -ti dynamic-create-857bd875b5-n82d4 df | grep data
/dev/vdb        20511312   45080  20449848   1% /data


pvc、pv的大小都显示为20G；
# kubectl get pvc
NAME       STATUS   VOLUME                   CAPACITY   ACCESS MODES   STORAGECLASS        AGE
pvc-disk   Bound    d-wz9g8sl8dl1ks8hz2m82   20Gi       RWO            alicloud-disk-ssd   2m17s

# kubectl get pv
NAME                     CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM              STORAGECLASS        REASON   AGE
d-wz9g8sl8dl1ks8hz2m82   20Gi       RWO            Delete           Bound    default/pvc-disk   alicloud-disk-ssd            2m15s

2. 云盘卷扩容：

扩容云盘执行下面命令：

# kubectl patch pvc pvc-disk -p '{"spec":{"resources":{"requests":{"storage":"30Gi"}}}}'

更新pvc大小，会驱动Resizer调用云盘api进行扩容，控制台可以检查云盘已经变成了30G，且pv的size也更新到30G；

# kubectl get pvc
NAME       STATUS   VOLUME                   CAPACITY   ACCESS MODES   STORAGECLASS        AGE
pvc-disk   Bound    d-wz9g8sl8dl1ks8hz2m82   20Gi       RWO            alicloud-disk-ssd   13m

# kubectl get pv
NAME                     CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM              STORAGECLASS        REASON   AGE
d-wz9g8sl8dl1ks8hz2m82   30Gi       RWO            Delete           Bound    default/pvc-disk   alicloud-disk-ssd            13m

此时只完成了云盘的扩容，文件系统的扩容没有做，所以容器内的存储空间依然是20G；

# kubectl exec -ti dynamic-create-857bd875b5-n82d4 df /data
Filesystem     1K-blocks  Used Available Use% Mounted on
/dev/vdb        20511312 45080  20449848   1% /data

通过删除Pod触发文件系统扩容：

# kubectl delete pod dynamic-create-857bd875b5-n82d4
pod "dynamic-create-857bd875b5-n82d4" deleted

# kubectl get pod
NAME                              READY   STATUS    RESTARTS   AGE
dynamic-create-857bd875b5-4gng9   1/1     Running   0          38s

可见文件系统已经扩容到30G：
# kubectl exec -ti dynamic-create-857bd875b5-4gng9 df /data
Filesystem     1K-blocks  Used Available Use% Mounted on
/dev/vdb        30832548 45036  30771128   1% /data

以上步骤即完成了一个CSI环境下云盘扩容的步骤：

微信关注我们

原文链接：https://yq.aliyun.com/articles/744611

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

抢占式ECS搭建离线大数据分析集群

场景描述基于阿里云的抢占式ECS实例以及弹性伸缩能力，同时结合阿里云对象存储OSS服务搭建离线大数据分析集群，实现计算与存储分离架构，同时降低计算资源成本和提升计算资源利用率且拥有海量存储能力。方案优势计算与存储资源成本优化大数据分析集群海量存储能力计算资源弹性伸缩运维简便计算与存储分离架构，集群高性能解决问题离线大数据分析集群计算和存储资源成本管控困难计算资源弹性能力不足大数据量大导致存储容量不足大数据分析集群云资源性能优化产品列表抢占式ECS实例对象存储OSS 弹性伸缩ESS 专有网络VPC 弹性公网IP 直达最佳实践》》

2020-02-12

794

场景描述基于阿里巴巴领先的大数据和人工智能技术，结合在电商行业的多年积累为开发者提供个性化推荐服务，提升商品购买率和转化率。解决问题猜你喜欢/个性化内容瀑布流展示在商品页提供产品的相关推荐网站首页提供焦点图推荐和热门推荐可扩展到新闻资讯、视频直播和社交领域产品列表日志服务SLS MaxCompute 智能推荐云服务器ECS 云数据库RDS版负载均衡SLB 专有网络VPC 直达最佳实践》》

2020-02-12

629

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。