首页 文章 精选 留言 我的

精选列表

搜索[k8s],共4786篇文章
优秀的个人博客,低调大师

K8s 1.34维护将结束:逐台检查云主机的cgroup与内核

准备升级自建的Kubernetes 1.34集群时,先在一台节点宿主机执行 `stat -fc %T /sys/fs/cgroup/`。返回 `cgroup2fs`,才取得这台主机启用cgroup v2的一项证据;`tmpfs`或报错都不能填成通过。本文按主机逐台检查,最后把节点分成继续验证、安排迁移和证据不足三类。 截至2026年10月26日,Kubernetes官方维护表列出的1.34社区维护结束日是10月27日。这不表示当天集群停机,也不能推导腾讯云托管产品同日停止支持。另一个独立变化是:从1.35起,kubelet默认不在cgroup v1节点启动。升级前需要核的是节点条件,而不只是镜像能否下载。 以下适用于在CVM等云主机上自行管理的Linux节点。TKE托管、Serverless、Windows节点以及无法取得宿主机权限的服务,先走对应产品的升级与维护规则。全部输出都是判读示例,非本文现场实测。 ## 1. 先确认查到的是节点宿主机 从自己的云主机资产表选一台集群节点,通过已授权SSH或控制台登录。不要在笔记本、业务容器或临时调试容器里执行后,把结果当宿主机证据。在该主机终端运行: ```bash hostname date --iso-8601=seconds uname -s uname -r cat /etc/os-release ps -ww -C kubelet -o pid=,args= ``` 示意输出节选: ```text worker-a 2026-10-26T10:00:00+08:00 Linux 5.15.0-xxx-generic PRETTY_NAME="Ubuntu 22.04.5 LTS" 1264 /usr/bin/kubelet --config=/var/lib/kubelet/config.yaml ... ``` 把云主机实例ID、集群中的节点名与这里的hostname对应保存;三者不一定相同。`uname`不是Linux时停止套用本稿。`ps`无匹配时,它只说明当前视角未找到kubelet:先核对实例与节点映射、服务管理方式和进程可见权限,不推断节点已移除。命令不存在或权限不足,记录原错误,身份仍为UNKNOWN;不能借另一台主机代填。 ## 2. 看当前挂载,不靠操作系统名称猜 确认执行位置后,仍在同一台宿主机运行: ```bash stat -fc %T /sys/fs/cgroup/ findmnt -rn -t cgroup,cgroup2 -o TARGET,FSTYPE ``` 两类示意结果: ```text # 情况A cgroup2fs /sys/fs/cgroup cgroup2 # 情况B,节选 tmpfs /sys/fs/cgroup/memory cgroup /sys/fs/cgroup/cpu,cpuacct cgroup ``` 情况A记“v2已观察”,进入内核检查;情况B说明看到v1控制器挂载,列为迁移候选,先不批准按默认配置升级到1.35。若同时出现v1与v2挂载,按混合布局记录,不能因为有一行 `cgroup2` 就宣布整台节点已迁移。 `stat`报路径不存在、权限错误,或返回其它类型,都记UNKNOWN,保留完整错误;`findmnt`无输出也不是“没有风险”。此时先确认是否真的处于宿主机、挂载命名空间是否符合预期,再由主机管理员核验布局。不要用“系统支持v2”替代“当前节点正在使用v2”。 ![cgroup-decision.png](https://developer.qcloudimg.com/http-save/yehe-12695357/0f7671234f7413ce3b6c14b2c00e4a20.png) ## 3. 把运行中的内核与发行版支持一起核对 第一步的 `uname -r` 是当前运行内核,安装了新内核包但没有切换启动,并不会改变这个输出。可继续查看本次启动参数和初始化进程: ```bash cat /proc/cmdline cat /proc/1/comm ``` 示意输出: ```text BOOT_IMAGE=/boot/vmlinuz-5.15.0-xxx-generic ... systemd ``` Kubernetes官方cgroup v2要求包括Linux内核5.8及以上、发行版启用v2、支持v2的容器运行时,以及kubelet与运行时采用systemd cgroup driver。内核版本满足只是其中一项。低于该要求时先核发行版和云镜像的支持说明,安排受支持的新节点或迁移方案;不能靠版本字符串自行证明厂商回移补丁已经覆盖。 初始化进程为systemd,同样不能证明两端driver已一致。启动参数即使写着启用v2,也须与第二步实际挂载结果一致;出现相反证据,留在UNKNOWN,先解释差异。读取失败时保留错误,不补写默认值。 ## 4. 给每台主机一个能接续的结论 这次检查的交付物是一行一台的节点记录,不是升级完成证明: | 已取得的证据 | 当前结论 | 下一步 | | --- | --- | --- | | 宿主机映射明确,实际挂载为v2,内核条件满足 | 可继续兼容性验证 | 核kubelet/运行时driver及监控、安全代理等v2兼容性 | | 存在v1控制器或混合布局 | 需要迁移评估 | 准备受支持的v2节点,先在测试范围验证业务与代理 | | 权限、身份、命令或挂载证据不完整 | UNKNOWN | 补同一台节点的原始证据,暂不批准该节点升级 | 记录至少保留实例ID、节点名、检查时间、内核、cgroup输出、结论与负责人。控制面、工作节点以及不同云镜像批次分别检查;不能用一台通过代表整个节点池。 例如,同一集群有两台已确认的Linux节点:A返回 `cgroup2fs`且运行内核5.15,B返回 `tmpfs`并有memory控制器的v1挂载。这只是演示,不能据此判整个集群“已满足升级条件”。A进入driver和业务验证,B先进入迁移评估;若第三台连不上,则第三台保留UNKNOWN,不能为了表格整齐把它并入A。原始输出与检查时间留在各自记录下,后续更换节点后重新检查,不能沿用旧实例结果。 如果后续需要获取目标组件镜像,毫秒镜像(1ms.run)等镜像入口只承接获取与分发层。换镜像地址不会改变宿主机内核、cgroup挂载或driver,本次盘点也不需要额外拉一个镜像验证。 发现v1后,不在生产节点直接修改启动参数、重启或切driver。官方提供的 `failCgroupV1: false` 是临时兼容设置,不等于完成v2迁移;是否采用、保持多久以及如何退出,需要单独评估。使用kubeadm时仍须逐minor遵循升级路径,不能借这次检查从1.34直接跳到任意新版本。 完成这张逐台记录后,再决定哪些节点进入测试、哪些更换、哪些先补证据。主机检查结束,仍不代表集群升级、业务恢复或厂商维护条件已通过。 资料口径:Kubernetes官方Patch Releases、About cgroup v2、2026年10月6日cgroup v2迁移说明,2026年10月26日复核。

优秀的个人博客,低调大师

开发人员抱怨 K8s 太难?平台工程让基础设施变得简单可控

## **摘要**: Kubernetes 的复杂性常常成为开发团队的负担。本文介绍如何通过平台工程方法在腾讯云 TKE 之上构建内部开发者平台,利用模板市场、应用管理和云原生资产管理平台,将基础设施复杂度抽象为简单的自助服务接口,让开发人员专注于业务创新。 ## 一、Kubernetes 复杂性的现实困境 Kubernetes 已经成为容器编排的事实标准,但它的学习曲线之陡峭也是业界公认的事实。对于大多数应用开发人员而言,编写 Deployment YAML、配置 Ingress 规则、管理 ConfigMap 和 Secret 并不是他们的核心技能,而是不得不花费大量时间去掌握的额外负担。一项行业调查显示,超过九成的企业平台团队认为 Kubernetes 复杂性是影响研发效率的主要因素,近四成的开发人员表示他们每周要花费数小时来处理与基础设施相关的问题。 这种认知负荷的分摊方式本质上是不合理的。正如开发人员不需要理解 TCP/IP 协议栈的细节就能编写网络应用一样,他们也不应该被要求深入了解 Pod 调度策略或 Service Mesh 配置才能部署自己的服务。问题的根源在于缺少合适的抽象层——在原始 Kubernetes API 和应用代码之间,缺乏一个既能屏蔽底层复杂性又能保留必要灵活性的中间平台。 腾讯云容器服务 TKE 提供了从基础设施到应用管理的完整能力栈。通过模板市场、云原生资产管理和丰富的 API 接口,TKE 为构建内部开发者平台奠定了坚实的基础。结合 CNB 云原生构建、TCR 容器镜像服务和 GitOps 工作流,企业可以将 Kubernetes 的最佳实践固化为标准化的交付路径,让开发人员以最小的认知成本享受到容器化带来的全部优势。 ## 二、平台工程的核心理念与方法 ### 2.1 黄金路径降低决策负担 平台工程的核心思想是为常见的应用场景提供预制的最佳实践模板,即所谓的黄金路径。当开发人员需要部署一个新的微服务时,他们不需要从零开始编写 Kubernetes 配置文件,而是选择一个适合其场景的模板——比如 Web 服务模板、后台任务模板或定时作业模板。模板中已经包含了经过验证的资源配置、健康检查策略、日志收集设置和安全基线,开发人员只需填写镜像地址和业务参数即可完成部署。 ``` # TKE 模板市场一键部署后生成的标准 Kubernetes 资源(简化示意) apiVersion: apps/v1 kind: Deployment metadata: name: user-service labels: app: user-service spec: replicas: 3 selector: matchLabels: app: user-service template: metadata: labels: app: user-service spec: containers: - name: user-service image: ccr.ccs.tencentyun.com/my-namespace/user-service:v2.1 resources: requests: cpu: "500m" memory: "512Mi" ports: - containerPort: 8080 --- apiVersion: v1 kind: Service metadata: name: user-service spec: selector: app: user-service ports: - port: 80 targetPort: 8080 type: LoadBalancer --- apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: user-service-hpa spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: user-service minReplicas: 3 maxReplicas: 20 ``` 上述配置展示了模板市场一键部署后实际生成的 Kubernetes 资源。一个看似简单的"一键创建"背后,TKE 自动生成了 Deployment、Service、HPA 等全套资源对象,并预置了经过验证的资源配置和健康检查策略。开发人员无需手动编写这些 YAML,大幅降低了使用门槛。 ### 2.2 自助服务提升交付速度 平台工程的另一个关键要素是自助服务能力。开发人员应当能够通过熟悉的工具链——无论是 Git 提交、Web 门户还是 CLI 命令——独立完成服务的部署、扩缩容和配置变更,而无需向运维团队提交工单等待审批和处理。这种模式不仅显著缩短了交付周期,也释放了运维人员的时间让他们专注于更高价值的平台优化工作。 TKE 支持通过云 API 进行集群和服务的全方位操作,这为实现自助服务平台提供了技术基础。结合 CNB 云原生构建和 Terraform 等基础设施即代码工具,可以构建从代码提交到服务上线的全流程自动化流水线。开发人员提交代码后,CNB 自动完成依赖安装、测试、镜像构建并推送到 TCR,再经由 Argo CD 自动同步到 TKE 集群,整个过程无需人工干预。 ## 三、基于 TKE 构建开发者平台 ### 3.1 模板市场——一键部署标准化应用 TKE 模板市场是平台工程落地的核心载体。平台上预置了多种场景化的应用模板,涵盖 Web 服务、API 网关、消息消费者、定时任务、AI 推理服务等常见场景。每个模板都经过腾讯内部实战验证,包含了最优的资源配置、健康检查策略和弹性规则。 典型模板包括: - **Web 服务模板**(Nginx + 后端应用 + CLB 接入) - **API 网关模板**(CLB + Ingress + 多后端路由) - **后台任务模板**(CronJob + Worker 部署) - **AI 推理服务模板**(vLLM + qGPU 共享) - **大数据处理模板**(Spark Operator) - **微服务治理模板**(Istio + 可观测性) 模板的一键复制功能还允许在现有模板的基础上快速创建变体,适应不同团队的特定需求。平台团队还可以基于企业内部的最佳实践自定义模板并发布到私有模板市场,确保全公司范围内的一致性。 ### 3.2 内嵌的安全与合规护栏 优秀的开发者平台不是简单地降低门槛,而是在降低门槛的同时内置安全保障。通过在平台层面统一配置 Pod 安全标准、网络策略和镜像签名验证规则,可以确保所有通过平台部署的工作负载都自动符合组织的安全基线。开发人员无需了解这些安全细节的具体实现,但他们部署的服务天然就是安全的。 TKE 原生节点提供的内核参数调优和基础设施声明式 API 管理能力,使得平台团队可以在底层统一实施性能优化和安全加固策略。配合 TencentOS Server V4 安全可靠测评认证,原生节点从操作系统层面为容器工作负载提供了可信的运行环境。 Request 智能推荐功能是平台工程中"让正确的事更容易发生"的典型体现。系统自动分析历史使用数据,为开发人员推荐合理的 CPU/Memory Request 值,避免了因经验不足导致的资源浪费或性能问题。 ## 四、渐进式平台建设路径 ### 4.1 从工具整合到体验优化 构建内部开发者平台是一个渐进的过程,不建议一开始就追求大而全的方案。第一阶段可以从工具整合入手,将现有的 CI/CD 流水线、镜像仓库和 Kubernetes 集群进行统一接入,建立基础的自助部署能力。这一阶段的目标是让开发人员能够不依赖运维团队独立完成简单的部署操作。 第二阶段聚焦于体验优化,引入模板市场和参数化配置,减少开发人员在每次部署时需要关注的参数数量。同时建立完善的文档和培训体系,帮助开发人员快速上手平台的使用。监控告警和日志查看等运维能力的集成也应在这一阶段完成,让开发人员能够自主排查常见问题。 第三阶段实现智能化运营,通过历史数据分析为开发人员提供资源配置优化建议、成本使用报告和安全合规评分。平台的价值从单纯的工具提供者升级为效率提升的赋能者,帮助各团队持续改进其应用的运行质量和资源效率。 ### 4.2 度量驱动的平台迭代 平台建设的成效需要通过具体的指标来衡量。建议跟踪以下几个关键维度:部署前置时间,即从代码提交到生产环境可用的时长;部署频率,反映团队持续交付的能力;变更失败率,衡量发布质量;以及平均恢复时间,评估系统的韧性水平。这些数据不仅可以证明平台建设的投资回报,也为后续的优化方向提供了明确的指引。 TKE 的云原生资产管理平台提供了丰富的过滤查询和状态展示能力,可以帮助平台团队全面了解各团队对平台的使用情况和满意度。结合监控告警中的近三十个指标维度,可以建立起从基础设施到应用层面的完整度量体系。 开发者不应该被 YAML 和海量的 API 对象淹没。**TKE 模板市场 + 声明式 API + 云原生资产管理平台**,把复杂的基础设施变成开发者点几下鼠标就能搞定的事 → [https://cloud.tencent.com/product/tke](https://cloud.tencent.com/product/tke)

优秀的个人博客,低调大师

k8s的pod容器中微服务无法创建新线程unable to create new native thread

![](https://developer.qcloudimg.com/http-save/audit-1148529/b5c39534cd9fc680300cbd5752a0dd49.png) ## 问题 ![](https://developer.qcloudimg.com/http-save/audit-1148529/36e8cd8fb900e10c627ca2510e1a72d5.png) > Caused by: java.lang.OutOfMemoryError: unable to create new native thread 这是困扰了我们一个很久的OOM问题,经常在一个节点上面多服务压力上来时出现,表面上是一个程序OOM,但具体又是里面的一个分支 线程问题。 出现的症状是不只是说一个服务,是跑在同一个节点上的所有服务而且是需要创建新线程的服务都出现无法创建新线程的异常日志,从节点的资源上看CPU和内存资源都还比较充足,只使用到了一半。 我们查看这个节点上的总线程数如下图趋势: ![](https://developer.qcloudimg.com/http-save/audit-1148529/e1a25144e3c93d033fc88343f7ecfa95.png) 经常性出现,从经验上来看节点的总线程数到达32000后无不例外就有服务出现了unable to create new native thread的异常,而且比较坑的是此异常对服务的/actuator/health 健康检测接口无法探测,即此接口状态返回UP,导致服务不会重启,但服务又无法接收新请求。 接下来查看节点的总线程数设置(未设置之前)。 ```javascript # 宿主机上执行 # 内核级最大线程数,如果不文件不存在,则手动加一个 cat /proc/sys/kernel/threads-max 返回32768 # 最大PID值 cat /proc/sys/kernel/pid_max 返回32768 # 当前用户可创建的最大进程/线程数(nproc) ulimit -u 返回32768 #查看最大线程数内核参数 通常 32768 sysctl kernel.pid_max 返回32768 ``` *cat /etc/security/limits.conf(设置之后的)* ![](https://developer.qcloudimg.com/http-save/audit-1148529/1dea961387ce7b2e7e82e5e767e3c232.png) 从以上几个指令查看结果来看确实是总线程数限制到了32000。 ## 解决 用户可创建的最大线程数 = min (max user processes, threads-max, pid_max); 当然先止血,先调大宿主机节点的总线程数都拉到最大655350 ```javascript # 提升系统级线程数上限(当前 32768 可能不够) sysctl -w kernel.threads-max=655350 sysctl -w kernel.pid_max=655350 # 持久化 echo "kernel.threads-max = 655350" >> /etc/sysctl.conf echo "kernel.pid_max = 655350" >> /etc/sysctl.conf sysctl -p ``` **调整用户级 nproc 限制** /etc/security/limits.conf 追加 ```javascript root soft nofile 655350 root hard nofile 655350 * soft nofile 655350 * hard nofile 655350 ``` **调整系统进程数配置**,在/etc/sysctl.conf添加最大进程和线程数量配置: ```javascript kernel.pid_max=655350 kernel.threads-max=655350 ``` 执行sysctl -p加载并应用内核参数,执行sysctl -a |grep threads-max和sysctl -a |grep pid_max进行验证。 目前根据运维提供的资料将系统里面能改的参数都改了,但……将服务启动过了不久,仍然还有服务报无法创建新线程的异常。 至此开始怀疑是不是配置没生效,但从ulimit -a的一些指令来看都是没问题的,那就唯一一条路:重启大法。也许是需要将服务器重启才能生效。 于是建议将服务器进行了重启,结果总线程数终于能突破32000,至此配置生效。 当然 也要同时优化程序代码,从宿主机上统计应用时发现有多个java应用线程数达到4000以上甚至到了8000多,多个服务加一起总数肯定会超32000。

优秀的个人博客,低调大师

【官宣】简化 k8s 上大数据集群的运维管理 CloudEon 加入 Dromara 社区

随着云原生技术的发展,越来越多的业务场景需要使用容器来部署和管理应用程序,而Kubernetes作为容器编排平台的事实标准,自然也受到了越来越多的关注和使用。 但是如果想在Kubernetes上部署和运维大数据服务是有比较高的学习成本,需要专业的运维人员来进行管理和维护,在这种情况下,我们开发出CloudEon平台,致力于简化多种大数据服务在Kubernetes上的部署和管理,同时还能更好地利用Kubernetes的资源调度和管理能力,使用户更加简单、方便、高效地搭建和管理大数据集群。 快速搭建大数据集群: 在Kubernetes上快速搭建部署大数据集群,省去了手动安装和配置的繁琐过程**容器化运行大数据服务**:大数据服务以容器方式运行,服务的部署和管理更加灵活和便捷,更好地利用Kubernetes的资源调度和管理能力 支持监控告警等功能:帮助用户实时监控集群运行状态,及时发现和解决问题 支持配置修改等功能:使用户能够更加灵活地管理和配置自己的大数据集群 ****自动化运维:降低集群管理的难度和人力成本,提高集群的可用性和稳定性 ****可视化管理界面:用户能够更加直观地管理和监控自己的大数据集群 灵活的扩展性:提供插件机制,让用户可以自定义拓展和安装更多的大数据服务 使用前置条件: Kubernetes环境,可以使用 kubekey 快速搭建 SSH服务,CloudEon需要访问Kubernetes集群中节点的SSH服务 CloudEon使用: 创建集群 https://www.bilibili.com/video/BV1Qc411p7tG/?share_source=copy_web&vd_source=46aa1a26d3bb8ed1a9a8a815d67fc1dd 添加节点 https://www.bilibili.com/video/BV1Zh411M7mY/?share_source=copy_web&vd_source=46aa1a26d3bb8ed1a9a8a815d67fc1dd 安装服务 https://www.bilibili.com/video/BV1vL411f7rw/?share_source=copy_web&vd_source=46aa1a26d3bb8ed1a9a8a815d67fc1dd 管理服务 https://www.bilibili.com/video/BV1zX4y1r7En/?share_source=copy_web&vd_source=46aa1a26d3bb8ed1a9a8a815d67fc1dd CloudEon是一款基于Kubernetes的云原生大数据平台,旨在为用户提供一种简单、高效、可扩展的大数据解决方案。如果CloudEon项目对您有帮助,请在github搜索CloudEon支持一下,点击star加关注。CloudEon遵循 Apache-2.0 开源协议,代码完全开源,如果您想为开源社区做出贡献,非常欢迎加入CloudEon项目,与其他开发者一起共同推动项目的发展。 Github:https://github.com/dromara/CloudEon Gitee:https://gitee.com/dromara/CloudEon 官网:https://cloudeon.top/ 欢迎加入社区技术交流公众号:CloudEon开源微信社区

优秀的个人博客,低调大师

用更云原生的方式做诊断|大规模 K8s 集群诊断利器深度解析

本文约 3500字,预计阅读时间:9 分钟 背景 通常而言,集群的稳定性决定了一个平台的服务质量以及对外口碑,当一个平台管理了相当规模数量的 Kubernetes 集群之后,在稳定性这件事上也许会“稍显被动”。 我们可能经常会遇到这样的场景:客户一个电话,火急火燎地说业务出现问题了,你们平台快帮忙查询一下是不是哪里出了问题呀?技术同学连忙放下手头工作,上去一通操作加安抚客户……看似专业且厉害,急用户之所急,细想之后实则无章无法,一地鸡毛。 通常我们依赖监控系统来提前发现问题,但是监控数据作为一个正向链路,很难覆盖到所有场景,经常会有因为集群配置的不一致性或者一些更底层资源的异常,即使监控数据完全正常,但是整个系统依然会有一些功能不可用。对此,我们做了一套巡检系统,针对系统中一些薄弱点以及一致性做诊断,但是这套系统的扩展性不是很好,对集群跟巡检项的管理也相对粗暴了一点。 最后我们决定做一个更加云原生的诊断工具,使用 operator 实现集群跟诊断项的管理,抽象出集群跟诊断项的资源概念,以此来解决大规模 Kubernetes 集群的诊断问题,通过在中心下发诊断项到其他集群,并统一收集其他集群的诊断结果,实现任何时刻都可以从中心获取到其他所有集群的运行状态,做到对大规模 Kubernetes 集群的有效管理以及诊断。 Talk is cheap, show me the demo : Kubeprober 项目介绍 项目地址: https://github.com/erda-project/kubeprober 官网地址: https://k.erda.cloud Kubeprober 是一个针对大规模 Kubernetes 集群设计的诊断工具,用于在 Kubernetes 集群中执行诊断项以证明集群的各项功能是否正常,Kubeprober 有如下特点: 支持大规模集群 支持多集群管理,支持在管理端配置集群跟诊断项的关系以及统一查看所有集群的诊断结果。 云原生 核心逻辑采用 operator 来实现,提供完整的 Kubernetes API 兼容性。 可扩展 支持用户自定义巡检项。 其核心架构如下: 区别于监控系统,Kubeprober 从巡检的角度来验证集群的各项功能是否正常,监控作为正向链路,无法覆盖系统中的所有场景,即使系统中各个环境的监控数据都正常,也无法保证系统是 100% 可用的,因此我们就需要一个工具从反向来证明系统的可用性,根本上做到先于用户发现集群中不可用的点,比如: 集群中的所有节点是否均可以被调度,有没有特殊的污点存在等; pod 是否可以正常的创建,销毁,验证从 Kubernetes,Kubelet 到 Docker 的整条链路; 创建一个 service,并测试连通性,验证 kube-proxy 的链路是否正常; 解析一个内部或者外部的域名,验证 CoreDNS 是否正常工作; 访问一个 ingress 域名,验证集群中的 ingress 组件是否正常工作; 创建并删除一个 namespace,验证相关的 webhook 是否正常工作; 对 Etcd 执行 put/get/delete 等操作,用于验证 Etcd 是否正常运行; 通过 mysql-client 的操作来验证 MySQL 是否正常运行; 模拟用户对业务系统进行登录,操作,验证业务的主流程是否正常; 检查各个环境的证书是否过期; 云资源的到期检查; …… 组件介绍 Kubeprober 整体采用 Operator 来实现核心逻辑,集群之间的管理使用 remotedialer 来维持被纳管集群跟管理集群之间的心跳链接,被纳管集群通过 RBAC 赋予 probe-agent 最小所需权限并且通过心跳链接实时上报被纳管集群元 信息以及访问 apiserver 的 token,实现在管理集群可以对被管理集群的相关资源进行操作的功能。 probe-master 运行在管理集群上的 operator 维护着两个 CRD:一个是 Cluster,用于管理被纳管的集群;另一个是 Probe,用于管理内置的以及用户自己编写的诊断项。probe-master 通过 watch 这两个 CRD,将最新的诊断配置推送到被纳管的集群,同时 probe-master 提供接口用于查看被纳管集群的诊断结果。 probe-agent 运行在被纳管集群上的 operator,这个 operator 维护两个 CRD:一个是跟 probe-master 完全一致的 Probe,probe-agent 按照 probe 的定义去执行该集群的诊断项;另一个是 ProbeStatus,用于记录每个 Probe 的诊断结果,用户可以在被纳管的集群中通过 kubectl get probestatus 来查看本集群的诊断结果。 什么是 Probe Kubeprobe 中运行的诊断计划我们称之为 Probe,一个 Probe 为一个诊断项的集合,我们建议将统一场景下的诊断项作为一个 Probe 来运行,probe-agent 组件会 watch probe 资源,执行 Probe 中定义的诊断项,并且将结果写在 ProbeStatus 的资源中。 我们期望有一个输出可以清晰地看到当前集群的运行状态,因此我们建议所有的 Probe 都尽可能属于应用、中间件、Kubernetes 以及基础设置这四大场景,这样我们可以在展示状态的时候,清晰且自上而下地查看究竟是系统中哪个层面引起的问题。 目前的 Probe 还比较少,我们还在继续完善,也希望跟大家一起共建。欢迎广大爱好者一起来共建: 自定义Probe https://github.com/erda-project/kubeprober/blob/master/probers/README.md 对比其他诊断工具 目前社区已经有 Kuberhealthy 以及 Kubeeye 来做 Kubernetes 集群诊断这件事情。 Kuberheathy 提供一套比较清晰的框架可以让你轻松编写自己的诊断项,将诊断项 CRD 化,可以轻松地使用Kubernetes 的方式来对单个 Kubernetes 进行体检。 Kubeeye 同样是针对单个集群,主要通过调用 Kubernetes 的 event api 以及 Node-Problem-Detector 来检测集群控制平面以及各种节点问题,同时也支持自定义诊断项。 其实,Kubeprober 做的也是诊断 Kubernetes 集群这件事情,提供框架来编写自己的诊断项。除此之外,Kubeprober 主要解决了大规模 Kubernetes 集群的诊断问题,通过中心化的思路,将集群跟诊断项抽象成 CRD,可以实现在中心 Kubernetes 集群管理其他 Kubernetes 诊断项配置,诊断结果收集,未来也会解决大规模 Kubernetes 集群的运维问题。 如何使用 Kubeprober 主要解决大规模 Kubernetes 集群的诊断问题,通常我们选择其中一个集群作为 master 集群,部署probe-master,其他集群作为被纳管集群,部署 probe-agent,详细的使用说明可参考官方文档。 官方文档 https://docs.erda.cloud/2.0/manual/eco-tools/kubeprober/guides/introduction.html 可视化 Kubeprober 在多集群中根据 probe 的策略执行诊断项,会产生大量的诊断事件。由此,对这些诊断项进行可视化的展示就显得尤为重要,此时如果有一个全局的 dashboard 对大规模集群的海量诊断项进行统一查看分析,将会更有利于我们掌握这些集群的运行状态。 Kubeprober 支持将诊断项事件写入 influxdb,通过 grafana 配置图表来统一展示诊断结果,比如:我们将 ERROR 事件统一展示出来作为最高优先级进行关注。 同时,我们也可以通过扩展 probe-agent 上报的集群信息,展示一张详尽的集群列表: 结语 随着数字化的逐渐发展,企业的 IT 架构也变得越来越复杂,如何在复杂环境中保证业务连续性及稳定性?相信这是每一个 IT 从业者都会面临的问题,如果大家对稳定性的话题或者是对 Kuberprober 项目感兴趣,欢迎联系我们一起深入探讨,同时也欢迎广大开源爱好者一起参与,共同打造一个大规模的 Kubernetes 集群的管理神器。 ContributingtoKubeprober https://github.com/erda-project/kubeprober/blob/master/CONTRIBUTING.md 我们致力于解决社区用户在实际生产环境中反馈的问题和需求,如果您有任何疑问或建议,欢迎添加小助手微信: Erda202106 ,加入 Erda 用户群参与交流或在 Github 上与我们讨论! Erda Github 地址 : https://github.com/erda-project/erda Erda Cloud 官网 : https://www.erda.cloud/ 戳原文,了解更多! 本文分享自微信公众号 - 尔达 Erda(gh_0f507c84dfb0)。如有侵权,请联系 support@oschina.cn 删除。本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

优秀的个人博客,低调大师

Kubernetes迎来7周年,VMware简化K8s部署与应用的成就与挑战

作为基于容器的分布式管理系统,Kubernetes历经七年发展,生态系统不断壮大,被越来越多的企业投入到生产环境中。Craig McLuckie和Joe Beda是Kubernetes的主要创始人,当初在谷歌内部Kubernetes起步的时候,它的项目名称叫Project 7(七号项目),这个名字来自于科幻电影Star Trek(星际迷航)提供的灵感,所以在上个月为Kubernetes庆祝的7岁生日,这个“7”是非常有特殊意义的。2016年Craig McLuckie和Joe Beda离开谷歌并创办Heptio,2018年12月,VMware完成了对Heptio的收购,同时两位加入VMware,分别担任VMware应用现代化业务部门研发副总裁和VMware首席工程师。 VMware应用现代化业务部门研发副总裁Craig McLuckie近期在接受记者采访时表示,企业在使用Kubernetes时,通常会遇到来自两个方面的挑战:一是如何能够以一种可扩展的方式迅速运行操作Kubernetes;二是如何让广大开发人员能够轻而易举地用上Kubernetes。基于此,VMware推出了Tanzu Kubernetes Grid(TKG),很好地帮助用户改善了使用Kubernetes的复杂性。 VMware应用现代化业务部门研发副总裁 Craig McLuckie 应用Kubernetes面临的主要挑战 虽然越来越多的企业开始使用Kubernetes,但在用户使用过程当中,仍然存在一些不友好的地方。 在VMware看来,Kubernetes无论是在部署还是使用过程中,都或多或少地存在着一些问题。Craig McLuckie表示,大部分企业都是以一种更加精细粒度的方式来部署Kubernetes,例如构建很多小规模Kubernetes集群。这种部署模式带来的最大挑战是当企业有了自建Kubernetes集群之后,由于自身技术能力跟不上,不能够对这些集群进行实时升级,无法通过Kubernetes上游项目中的各种创新来进行更新,这就带来了较大的安全隐患。 除此之外,很多开发人员也反映Kubernetes在使用过程中出现了一些复杂性,尤其是Spring方面。Craig McLuckie表示,VMware一直都在支持Spring社区的发展,通过最新调查发现,目前已经有75%的Spring开发者在Kubernetes平台之下运行应用。如果把Kubernetes和Spring结合在一起,不仅能够带来运维方面的便利,而且能够让开发者只需要专注于代码开发,而不需要去关注代码的运行环境,更不需要关注基础架构层面的各种问题。 “我们看到,目前Kubernetes使用者呈现出指数级的增长,与VMware合作的每一个企业都在以某种方式部署Kubernetes,但是很多企业在部署和使用Kubernetes时都会遇到一些问题。”Craig McLuckie表示,借助VMware推出的Tanzu Kubernetes Grid(TKG),能够让用户更加易于获得和运维。 以Tanzu Kubernetes Grid简化Kubernetes部署与应用 VMware Tanzu Kubernetes Grid(TKG)是VMware Tanzu产品组合的首批产品之一,不仅支持私有云以及VMware Cloud,同时也能够支持目前主流的公有云环境,且支持IaaS环境。 当然,随着越来越多集群运行在不同的云环境中,或者网络边缘之上,VMware还提供了统一的管理工具:Tanzu Mission Control(Tanzu任务控制),对运行在不同环境中的集群实现统一的管理。 Craig McLuckie表示,Tanzu Mission Control(Tanzu任务控制)是Tanzu技术中非常关键的组成部分,在其全生命周期管理的一系列工具中,包括身份管理、安全能力、配置管理、审计管理、数据保护等等,都能够直接用于支持Kubernetes运维,而且能够通过API实现接入。这样的优势在于,智能化的管理工具让开发者能够如使用Linux一样,轻松应用Kubernetes,使得开发者能够对各种集群进行整合化管理,在整合化集群之上部署应用。 Craig McLuckie强调,通过Tanzu Advanced提供的丰富技术和能力,让Kubernetes更加简单易用,且功能变得更加强大,帮助用户在对现有应用进行现代化管理的同时,更加高效地构建新型应用。 实际上,VMware还在致力于推出容器本地的虚拟化。VMware首席工程师 Joe Beda表示,VMware正在通过不同的方法来实现容器本地的虚拟化。据介绍,在vSphere 7当中已经内置了VMware本地PODs,通过hypervisor来支持Kubernetes Pods,这样能够与部分云供应商提供的容器本地虚拟化是相同的。 VMware首席工程师 Joe Beda “虽然Kubernetes已经走过了七年,但作为一个社区,仍然处于早期发展阶段,在VMware前方还有大量且非常精彩的工作去做,不仅要让Kubernetes的操作运维更加简单易用,而且还要通过Kubernetes,把基于Kubernetes的开源社群创新充分释放出来。”Craig McLuckie表示,VMware Tanzu能够让客户根据现有阶段的能力部署Kubernetes,用Kubernetes补充和增强他们在技术上已经作出的投资,帮助他们对现有应用程序进行现代化改造,按照自己选定的速度和步骤,使得数据中心能够更好地应对各种创新。 可信云原生制品仓库:Harbor 在本场采访活动中,VMware中国研发技术总监、CNCF Harbor开源项目创建人张海宁还详细介绍了来自VMware中国研发中心原创的开源项目:Harbor。实际上,这个项目已经拥有7年的发展历程。 VMware中国研发技术总监、CNCF Harbor开源项目创建人 张海宁 据介绍,Harbor是一个可信云原生制品仓库的产品,最早在2016年开源,是中国原创的第一个CNCF开源项目,也是最早从CNCF毕业的中国开源项目。 张海宁表示,CNCF最新用户调查数据反馈,Harbor在全国生产系统中的用户使用率达到了47%,在所有中国原创CNCF项目中排名第一,得到了用户的高度认可。 虽然是一个开源的项目,但在VMware Tanzu Advanced的产品当中,就包括了很多Harbor的源代码。张海宁告诉记者,在vSphere7中的vRegistry service,能够使用Harbor原生内置的支持容器镜像管理,用户在使用vSphere Kubernetes平台时,可以用vRegistry service自动去获得镜像管理能力,包括镜像扫描、镜像安全保护等等一系列策略。 除此之外,诸如TKG Registry Service企业级Kubernetes产品镜像仓库管理、TMC artifact management service中基于公有云上的Tanzu Mission Control,都是基于Harbor管理能力去实现的。此外,基于中央平台管理多个Kubernetes集群能力的SaaS服务,在国外已经落地,在国内正在尝试今年落地。 张海宁告诉记者,VMware利用Harbor搭建了一个对外使用的容器镜像仓库,能够让合作伙伴快速使用Harbor。同时,在产品和商业化过程中,也加入了Harbor的产品理念,构建了很多对外的服务,取得了非常不错的成绩。 【责任编辑:张诚 TEL:(010)68476606】

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册
修改密码
忘记密码