在kubernetes集群中使用虚拟节点创建1万Pod-支持在线教育业务疫情高峰-低调大师

在kubernetes集群中使用虚拟节点创建1万Pod-支持在线教育业务疫情高峰

2020-02-08 503

使用虚拟节点提升k8s集群容量和弹性

在kubernetes集群中添加虚拟节点的方式已被非常多的客户普遍使用，基于虚拟节点可以极大提升集群的Pod容量和弹性，灵活动态的按需创建ECI Pod，免去集群容量规划的麻烦。目前虚拟节点已广泛应用在如下场景。

在线业务的波峰波谷弹性需求：如在线教育、电商等行业有着明显的波峰波谷计算特征，使用虚拟节点可以显著减少固定资源池的维护，降低计算成本。
提升集群Pod容量：当传统的flannel网络模式集群因vpc路由表条目或者vswitch网络规划限制导致集群无法添加更多节点时，使用虚拟节点可以规避上述问题，简单而快速的提升集群Pod容量。
数据计算：使用虚拟节点承载Spark、Presto等计算场景，有效降低计算成本。
CI/CD和其他Job类型任务

下面我们介绍如何使用虚拟节点快速创建1万个pod，这些eci pod按需计费，不会占用固定节点资源池的容量。

相比较而言，AWS EKS在一个集群中最多只能创建1000个 Fargate Pod。基于虚拟节点的方式可以轻松创建过万个ECI Pod。

创建多个虚拟节点

请先参考ACK产品文档部署虚拟节点：https://help.aliyun.com/document_detail/118970.html

因为使用多个虚拟虚拟节点往往用于部署大量ECI Pod，我们建议谨慎确认vpc/vswitch/安全组的配置，确保有足够的vswitch ip资源（虚拟节点支持配置多个vswitch解决ip容量问题），使用企业级安全组可以突破普通安全组的2000个实例限制。

通常而言，如果单个k8s集群内eci pod数量小于3000，我们推荐部署单个虚拟节点。如果希望在虚拟节点上部署更多的pod，我们建议在k8s集群中部署多个虚拟节点来对其进行水平扩展，多个虚拟节点的部署形态可以缓解单个虚拟节点的压力，支撑更大的eci pod容量。这样3个虚拟节点可以支撑9000个eci pod，10个虚拟节点可以支撑到30000个eci pod。

为了更简单的进行虚拟节点水平扩展，我们使用statefulset的方式部署vk controller，每个vk controller管理一个vk节点,statefulset的默认Pod副本数量是1。当需要更多的虚拟节点时，只需要修改statefulset的replicas即可。

# kubectl -n kube-system scale statefulset virtual-node-eci --replicas=4
statefulset.apps/virtual-node-eci scaled

# kubectl get no
NAME                            STATUS     ROLES    AGE     VERSION
cn-hangzhou.192.168.1.1         Ready      <none>   63d     v1.12.6-aliyun.1
cn-hangzhou.192.168.1.2         Ready      <none>   63d     v1.12.6-aliyun.1
virtual-node-eci-0              Ready      agent     1m     v1.11.2-aliyun-1.0.207
virtual-node-eci-1              Ready      agent     1m     v1.11.2-aliyun-1.0.207
virtual-node-eci-2              Ready      agent     1m     v1.11.2-aliyun-1.0.207
virtual-node-eci-3              Ready      agent     1m     v1.11.2-aliyun-1.0.207

# kubectl -n kube-system get statefulset virtual-node-eci
NAME              READY   AGE
virtual-node-eci  4/4     1m

# kubectl -n kube-system get pod|grep virtual-node-eci
virtual-node-eci-0                                               1/1     Running   0           1m
virtual-node-eci-1                                               1/1     Running   0           1m
virtual-node-eci-2                                               1/1     Running   0           1m
virtual-node-eci-3                                               1/1     Running   0           1m

当我们在vk namespace中创建多个nginx pod时（将vk ns加上指定label，强制让ns中的pod调度到虚拟节点上），可以发现pod被调度到了多个vk节点上。

# kubectl create ns vk
# kubectl label namespace vk virtual-node-affinity-injection=enabled

# kubectl -n vk run nginx --image nginx:alpine --replicas=10
deployment.extensions/nginx scaled

# kubectl -n vk get pod -o wide
NAME                     READY   STATUS    RESTARTS   AGE   IP             NODE                NOMINATED NODE   READINESS GATES
nginx-546c47b569-blp88   1/1     Running   0          69s   192.168.1.26   virtual-node-eci-1  <none>           <none>
nginx-546c47b569-c4qbw   1/1     Running   0          69s   192.168.1.76   virtual-node-eci-0  <none>           <none>
nginx-546c47b569-dfr2v   1/1     Running   0          69s   192.168.1.27   virtual-node-eci-2  <none>           <none>
nginx-546c47b569-jfzxl   1/1     Running   0          69s   192.168.1.68   virtual-node-eci-1  <none>           <none>
nginx-546c47b569-mpmsv   1/1     Running   0          69s   192.168.1.66   virtual-node-eci-1  <none>           <none>
nginx-546c47b569-p4qlz   1/1     Running   0          69s   192.168.1.67   virtual-node-eci-3  <none>           <none>
nginx-546c47b569-x4vrn   1/1     Running   0          69s   192.168.1.65   virtual-node-eci-2  <none>           <none>
nginx-546c47b569-xmxx9   1/1     Running   0          69s   192.168.1.30   virtual-node-eci-0  <none>           <none>
nginx-546c47b569-xznd8   1/1     Running   0          69s   192.168.1.77   virtual-node-eci-3  <none>           <none>
nginx-546c47b569-zk9zc   1/1     Running   0          69s   192.168.1.75   virtual-node-eci-2  <none>           <none>

运行1万个ECI Pod

在上述步骤中我们已经创建了4个虚拟节点，能够支撑12000个ECI Pod，我们只需要将workload指定调度到虚拟节点即可。这里我们需要关注kube-proxy的可扩展性。

虚拟节点创建的ECI Pod默认支持访问集群中的ClusterIP Service，这样每个ECI Pod都需要watch apiserver保持一个连接以监听svc/endpoints变化。当大量pod同时Running时，apiserver和slb将维持Pod数量的并发连接，所以需要确保slb规格能否支撑期望的并发连接数。
如果ECI Pod无需访问ClusterIP Service，则可以将virtual-node-eci statefulset的ECI_KUBE_PROXY环境变量值设置为"false"，这样就不会有大量slb并发连接的存在，也会减少apiserver的压力。
我么也可以选择将ECI Pod访问的ClusterIP Service暴露成内网slb类型，然后通过privatezone的方式让ECI Pod不必基于kube-proxy也能否访问到集群中的Service服务。

缩减vk虚拟节点数量

因为vk上的eci pod是按需创建，当没有eci pod时vk虚拟节点不会占用实际的资源，所以一般情况下我们不需要减少vk节点数。但用户如果确实希望减少vk节点数时，我们建议按照如下步骤操作。

假设当前集群中有4个虚拟节点，分别为virtual-node-eci-0/.../virtual-node-eci-3。我们希望缩减到1个虚拟节点，那么我们需要删除virtual-node-eci-1/../virtual-node-eci-3这3个节点。

先优雅下线vk节点，驱逐上面的pod到其他节点上，同时也禁止更多pod调度到待删除的vk节点上。

# kubectl drain virtual-node-eci-1 virtual-node-eci-2 virtual-node-eci-3

# kubectl get no
NAME                      STATUS                     ROLES    AGE    VERSION
cn-hangzhou.192.168.1.1   Ready                      <none>   66d    v1.12.6-aliyun.1
cn-hangzhou.192.168.1.2   Ready                      <none>   66d    v1.12.6-aliyun.1
virtual-node-eci-0        Ready                      agent    3d6h   v1.11.2-aliyun-1.0.207
virtual-node-eci-1        Ready,SchedulingDisabled   agent    3d6h   v1.11.2-aliyun-1.0.207
virtual-node-eci-2        Ready,SchedulingDisabled   agent    3d6h   v1.11.2-aliyun-1.0.207
virtual-node-eci-3        Ready,SchedulingDisabled   agent    66m    v1.11.2-aliyun-1.0.207

之所以需要先优雅下线vk节点的原因是vk节点上的eci pod是被vk controller管理，如果vk节点上还存在eci pod时删除vk controller，那样将导致eci pod被残留，vk controller也无法继续管理那些pod。

待vk节点下线后，修改virtual-node-eci statefulset的副本数量，使其缩减到我们期望的vk节点数量。

# kubectl -n kube-system scale statefulset virtual-node-eci --replicas=1
statefulset.apps/virtual-node-eci scaled

# kubectl -n kube-system get pod|grep virtual-node-eci
virtual-node-eci-0                                                1/1     Running   0          3d6h

等待一段时间，我们会发现那些vk节点变成NotReady状态。

# kubectl get no
NAME                      STATUS                        ROLES    AGE    VERSION
cn-hangzhou.192.168.1.1   Ready                         <none>   66d    v1.12.6-aliyun.1
cn-hangzhou.192.168.1.2   Ready                         <none>   66d    v1.12.6-aliyun.1
virtual-node-eci-0        Ready                         agent    3d6h   v1.11.2-aliyun-1.0.207
virtual-node-eci-1        NotReady,SchedulingDisabled   agent    3d6h   v1.11.2-aliyun-1.0.207
virtual-node-eci-2        NotReady,SchedulingDisabled   agent    3d6h   v1.11.2-aliyun-1.0.207
virtual-node-eci-3        NotReady,SchedulingDisabled   agent    70m    v1.11.2-aliyun-1.0.207

手动删除NotReady状态的虚拟节点

# kubelet delete no virtual-node-eci-1 virtual-node-eci-2 virtual-node-eci-3
node "virtual-node-eci-1" deleted
node "virtual-node-eci-2" deleted
node "virtual-node-eci-3" deleted
# kubectl get no
NAME                      STATUS     ROLES    AGE    VERSION
cn-hangzhou.192.168.1.1   Ready      <none>   66d    v1.12.6-aliyun.1
cn-hangzhou.192.168.1.2   Ready      <none>   66d    v1.12.6-aliyun.1
virtual-node-eci-0        Ready      agent    3d6h   v1.11.2-aliyun-1.0.207

微信关注我们

原文链接：https://yq.aliyun.com/articles/744139

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

node项目构建docker镜像

express-generator生成测试应用项目参考链接：express应用程序生成器文档链接编写Dockerfile文件 Dockfile文件内容 FROM node:10.16.0 #FROM kkarczmarczyk/node-yarn # 指定制作我们的镜像的联系人信息（镜像创建者） MAINTAINER wangchunlian # 将根目录下的文件都copy到container（运行此镜像的容器）文件系统的app文件夹下 # cd到app文件夹下 WORKDIR /home/express-app #复制package文件到工作目录 COPY package*.json ./ # 安装项目依赖包 RUN npm install #复制项目到工作目录中 COPY . . # 容器对外暴露的端口号 EXPOSE 3000 # 容器启动时执行的命令，类似npm run start CMD ["npm", "start"] 编排镜像 docker build -t express-app . 启动镜像： docker run -itd --name express-app ...

2020-02-07

587

云服务器ECS是阿里云的明星产品，上云基础，阿里云ECS不仅有面向企业场景的计算实例、存储及网络组件，使应用运行稳定、数据存储可靠、有着丰富的安全防护及监控措施，而且可以使用多种管理方式，赋予完全管理权限，镜像类型丰富，做到加速应用部署。以下为阿里云用户在云栖问答中发布到问题及解决方法，建议大家合理运用：阿里云帮助文档，很多问题文档中都有图文教程。 ECS实例配置ECS时，无法连接到Windows实例，是怎么回事，如何解决？https://yq.aliyun.com/ask/61463配置ECS时，无法连接到Linux实例，应该怎么解决？https://yq.aliyun.com/ask/61464Window实例使用云服务器 ECS 时，出现服务的速度变慢，或 ECS 实例突然断开的情况，要怎么办？https://yq.aliyun.com/ask/61465Linux实例使用云服务器 ECS 时，出现服务的速度变慢，或 ECS 实例突然断开的情况，要怎么办？https://yq.aliyun.com/ask/61466使用Window实例时，访问丢包而且延迟也很高，我要怎么做？...

2020-02-14

521

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。