首页 文章 精选 留言 我的

精选列表

搜索[kubernetes],共8258篇文章
优秀的个人博客,低调大师

Kubernetes 百级节点集群调优实战

![](https://developer.qcloudimg.com/http-save/yehe-11081884/1c93470795634286b8f1fb34111171cf.jpg) K8s 默认配置是为中小规模设计的。当节点数突破 100、Pod 数上万时,etcd 空间满、API 超时、调度延迟、iptables 规则爆炸这些问题会集中爆发。本文整理了生产环境验证过的调优参数,按组件分类,可直接落地。 ### **场景:150 节点集群的典型问题** - etcd 频繁告警,甚至进入只读模式 - `kubectl get pods --all-namespaces` 耗时数十秒 - Deployment 滚动更新慢,Endpoint 更新滞后 - 节点 NotReady,系统组件与业务容器资源争抢 根源是默认参数撑不住大规模,需要系统性调优。 ### **etcd 调优** etcd 是集群上限的决定因素。 |参数|默认值|建议值|说明| | --- | --- | --- | --- | |--quota-backend-bytes|2GB|8GB|防止存储写满| |--auto-compaction-retention|0|8h|定时压缩历史版本| |--auto-compaction-mode|-|periodic|周期性压缩模式| |--max-request-bytes|1.5MB|10MB|限制单请求大小,防大 ConfigMap 冲击| kubeadm 配置片段: ``` apiVersion: kubeadm.k8s.io/v1beta4 kind: ClusterConfiguration etcd: local: extraArgs: quota-backend-bytes: "8589934592" auto-compaction-retention: "8h" auto-compaction-mode: "periodic" max-request-bytes: "10485760" ``` etcd 必须独占高性能硬件:SSD、独立 CPU/内存,不要和其他组件混部。 ### **kube-apiserver 高并发调优** apiserver 是所有请求的入口。 |参数|建议值|说明| | --- | --- | --- | |--max-requests-inflight|600|读并发上限| |--max-mutating-requests-inflight|300|写并发上限| |--min-request-timeout|300s|大列表查询超时时间| |--watch-cache-sizes|pods=10000,endpoints=5000,…|高频资源缓存大小| |--enable-priority-and-fairness|true|防止系统组件饿死用户请求| 配置示例: ``` apiServer: extraArgs: max-requests-inflight: "600" max-mutating-requests-inflight: "300" min-request-timeout: "300s" watch-cache-sizes: "pods=10000,endpoints=5000,services=1000,deployments=5000,replicasets=5000" enable-priority-and-fairness: "true" ``` ### **控制器与调度器调优** |组件|参数|建议值|说明| | --- | --- | --- | --- | |controller-manager|concurrent-deployment-syncs|20|Deployment 同步并发数| |controller-manager|concurrent-endpoint-syncs|15|Endpoint 同步并发数| |controller-manager|kube-api-qps / burst|100 / 200|客户端限流| |scheduler|kube-api-qps / burst|200 / 400|客户端限流| |scheduler|percentage-of-nodes-to-score|60%|调度质量与速度平衡| 配置示例: ``` controllerManager: extraArgs: concurrent-deployment-syncs: "20" concurrent-endpoint-syncs: "15" kube-api-qps: "100" kube-api-burst: "200" scheduler: extraArgs: kube-api-qps: "200" kube-api-burst: "400" percentage-of-nodes-to-score: "60" ``` ### **网络与系统底座** **kube-proxy 从 iptables 切到 IPVS** iptables 规则数随 Service 数量 O(N²) 增长,IPVS 用哈希表,性能更稳定。 ``` apiVersion: kubeproxy.config.k8s.io/v1alpha1 kind: KubeProxyConfiguration mode: ipvs ipvs: scheduler: rr conntrack: maxPerCore: 32768 min: 1048576 ``` **系统内核参数** ``` # /etc/sysctl.conf fs.file-max =2097152 net.core.somaxconn =32768 net.netfilter.nf_conntrack_max =1048576 vm.swappiness =0 ``` ### **资源保障** 为控制平面组件设置明确的 requests/limits,防止和业务容器争抢资源。 ``` # kube-apiserver 示例 spec: containers: - name: kube-apiserver resources: requests: cpu: "2" memory: "8Gi" limits: cpu: "8" memory: "16Gi" ``` ### **落地建议** 1. **先评估**:根据实际节点数、Pod 数、对象数微调上述推荐值 1. **配置即代码**:用 kubeadm-config.yaml 管理,版本控制 1. **灰度验证**:先在测试集群或非核心节点池应用 1. **监控观察**:重点看 etcd 延迟、API 响应时间、调度队列深度,至少观察 24-72 小时 1. **迭代调优**:根据监控数据调整,形成适合自身业务的基线 调优顺序:先稳 etcd,再扩 apiserver 并发,然后放开各组件限流,最后切 IPVS + 调内核。不要一次性全改,分批验证。 **“无他,惟手熟尔”!**有需要的用起来! **如果你觉得这篇文章有用,欢迎点赞、转发、收藏、留言、推荐**❤!

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册
修改密码
忘记密码