首页 文章 精选 留言 我的

精选列表

搜索[k8s],共4786篇文章
优秀的个人博客,低调大师

OpenAI 解释 ChatGPT 等服务故障原因:K8s 循环依赖导致

12 月 12 日,OpenAI更新服务状态页面,在其中补充了对前一天 ChatGPT、Sora 及 API 服务宕机四个多小时事故的回顾。 OpenAI 表示,此次事件并非安全漏洞或新产品发布导致,而是源于一项内部系统升级。 OpenAI 工程师在 11 日下午部署了一项新的遥测服务,但由于配置失误,导致每个节点同时执行大量 Kubernetes API 操作,最终因服务器不堪重负、控制平面瘫痪。这进而引发 DNS 解析故障,导致服务间无法互相通信。 在此过程中,尽管 OpenAI 的监控系统在问题初期发出警报,但 DNS 缓存机制延迟了问题的暴露,使得故障在更大范围内蔓延。由于 Kubernetes 控制平面陷入死锁,工程师们经历了缩小集群规模、限制对 API 的访问、以及扩容服务器等多个步骤,才最终恢复了部分控制并移除了故障服务。 OpenAI 承认,此次事件暴露了测试和部署流程上的不足,例如只测试了小型预发布环境,没有评估对大型集群的潜在影响。相应地,OpenAI 承诺将采取一系列改进措施,包括实施更完善的阶段性发布流程、建立紧急 Kubernetes 控制平面访问机制、将 Kubernetes 数据平面和控制平面解耦等。 影响 在太平洋时间 2024 年 12 月 11 日下午 3:16 至晚上 7:38 之间,所有 OpenAI 服务均出现了严重降级或完全不可用。 这起事故源于我们在所有集群中推出的新遥测服务配置,并非由安全漏洞或近期产品发布所致。 从下午 3:16 开始,各产品性能均出现大幅下降。 •ChatGPT:在下午 5:45 左右开始大幅恢复,并于晚上 7:01 完全恢复。 •API:在下午 5:36 左右开始大幅恢复,于晚上 7:38 所有模型全部恢复正常。 •Sora:于晚上 7:01 完全恢复。 时间线 •2024 年 12 月 10 日:新的遥测服务部署到预发布集群,经测试无异常。 •2024 年 12 月 11 日 下午 2:23:引入该服务的代码合并到主分支,并触发部署流水线。 •下午 2:51 至 3:20:变更逐步应用到所有集群。 •下午 3:13:告警触发,通知到工程师。 •下午 3:16:少量客户开始受到影响。 •下午 3:16:根因被确认。 •下午 3:27:工程师开始把流量从受影响的集群迁移。 •下午 3:40:客户影响达到最高峰。 •下午 4:36:首个集群恢复。 •晚上 7:38:所有集群恢复。 询问AI

优秀的个人博客,低调大师

云原生周刊:K8s 的 13 个最佳开源监控工具

开源项目推荐 Silver Surfer 该项目旨在检查 Kubernetes 对象的 API 版本兼容性,并为其提供迁移路径,以便为集群升级做好准备。 Actions Runner Controller Actions Runner Controller (ARC) 是一个 Kubernetes 操作器,可为 GitHub Actions 编排和扩展自托管运行器。 使用 ARC,您可以创建运行程序规模集,该规模集可根据存储库、组织或企业中运行的工作流数量自动扩展。由于受控运行程序可能是短暂的并且基于容器,因此新的运行程序实例可以快速、干净地扩展或缩减。 helm-mapkubeapis 这是一个 Helm 插件,可将版本中废弃或移除的 Kubernetes API 映射到受支持的 API 中。 文章推荐 掌握 ArgoCD 管理:实现灵活性和规模的高级 GitOps 技术 这篇文章深入探讨了如何利用 ArgoCD 的潜力进行高级 GitOps 管理,通过 ApplicationSet Helm Chart 实现灵活的部署,以及通过扩展 ArgoCD 实例实现可扩展性和多租户支持的未来发展方向。 Kubernetes 的 13 个最佳开源监控工具 这篇文章提供了关于 Kubernetes 的 13 个开源监控工具的概述,并介绍了每个工具的优点和缺点,以帮助读者选择适合其需求的工具。 云原生动态 Linux 基金会推出 OpenTofu Linux 基金会宣布成立 OpenTofu,这是一个开源替代方案,用于 Terraform 广泛使用的基础设施即代码工具。OpenTofu 以前被称为 OpenTF,是对 Terraform 最近宣布的许可证变更(从 Mozilla Public License v2.0(MPLv2)变更为 Business Source License v1.1)的开放和社区驱动的回应,为每个人提供了一个可靠的开源替代方案,采用中立的治理模型。 Fluent Operator 2.5.0 发布:新增多个插件 Fluent Operator v2.5.0 新增 11 个 features, 其中 Fluent Bit 新增支持 7 个插件, Fluentd 新增支持 1 个插件。此外,对 Fluent Operator 也进行了增强,调整了默认参数,以便适应更多场景,并对 helm chart 进行了优化,用户可以更方便的进行安装,并修复了部分 bug。 适用于 Kubernetes 的 HashiCorp Vault Secrets Operator 正式推出 HashiCorp 已将适用于 Kubernetes 的 HashiCorp Vault Secrets Operator 正式投入使用。该 Kubernetes Operator 将 Vault 的 secret 缓存相结合。操作员还处理 Secrets 轮换,并拥有用于各种特定于 Secrets 的自定义资源的控制器。 Vault Secrets Operators 监视其自定义资源定义 (CRD) 集的更改。每个 CRD 都允许操作员将 Vault Secret 同步到 Kubernetes Secret。该运算符将源 Vault secret 直接写入目标 Kubernetes secret。这可确保对源所做的所有更改都能正确复制,并使用 Kubernetes 自定义资源来管理服务使用的 secret。应用程序能够以 Kubernetes 原生方式从目的地使用 secret。 Harness 推出开源 Git 平台 Gitness DevOps 公司 Harness 发布了 Gitness,这是一个新的开源 Git 平台,据称这是“近十年来开源 Git 平台的第一个重要版本”。 Gitness 有两个主要组件,自托管的 Git 存储库和基于 Drone 的管道。 Harness 提供了所谓的软件交付平台,该平台可以自托管、安装在 AWS 上或由 Harness 托管的云上,提供各种产品,包括持续交付、功能标记、错误跟踪和混沌工程。该公司还提供多种可免费使用的开源或可用源代码产品,但由于许可限制,并非所有产品都有资格成为真正的开源产品。 本文由博客一文多发平台 OpenWrite 发布!

优秀的个人博客,低调大师

Kubeflow v1.7 发布,K8s 机器学习工具包

Kubeflow v1.7 可以利用开发者的 Python 知识来构建无缝的工作流程,而不需要 Kubernetes CLI 命令,也不需要为每次迭代构建容器镜像。通过多个组件中的新 UI,开发人员可以将配置参数与日志联系起来,这使他们能够快速分析结果。当与 Kubeflow 的 pythonic 工作流程和 Kubernetes 的运行效率相结合时,这些改进可以为模型开发人员节省大量的时间和精力。 Katib Katib 包括对用户界面和 SDK 的新的改进。新的 Katib 用户界面提供了简化的细粒度配置和日志关联性。此外,还增加了排序和过滤功能,允许对你的许多实验进行更有组织的查看。此外,这些功能最大限度地减少了手动使用低级别的命令来定位和关联日志与 HyperParameter Experiment 配置的必要性。这简化了深入的性能分析和后续的模型参数迭代过程。 在 1.7 中,Katib SDK 提供了新的功能,包括 Tune API 和从 Katib 数据库中检索试验指标的能力。模型开发者或数据科学家可以执行 Tune API 来启动一个 HyperParameter Experiment,而不需要对底层系统(如 Kubernetes、Docker)有任何了解。它可以自动将用户训练脚本转换为 Katib Experiment。 Training operator Kubeflow 的统一分布式 Training operator 的增强功能包括用于微调资源扩展的配置选项(处理器、内存、存储)。它现在包括对 Pytorch Elastic 工作负载的 HPA 支持,用户可以在 Job Spec 中指定目标指标/利用率。这用于自动扩大/缩小 Pytorch 作业的规模,以满足需求,同时确保用户配置的弹性策略。这些改进大大简化了用户的工作流程,并减少了操作上的繁琐和成本。 Pipelines 在 Kubeflow 1.7 中,Pipelines Working Group 通过最新的 2.0.0-alpha.7 版本继续努力实现 KFP v2。该版本包括以下主要改进: 管线作为组件: 管线本身可以作为其他管线的组件使用,就像你在管线中使用任何其他单步组件一样 Sub-DAG 可视化,允许管道用户深入了解其管线的子图组件 错误和漏洞的修复 更多详情可查看:https://github.com/kubeflow/kubeflow/releases/tag/v1.7.0

优秀的个人博客,低调大师

K8S 行业调研报告出炉:混合云、边缘计算走向主流

本文转自Rancher 2021年3月22日,业界应用最为广泛的企业级Kubernetes管理平台Rancher发布了2020年Kubernetes行业调研报告,研究结果表明,2020年,更多的受访者在混合云环境中使用Kubernetes 运行容器,与此同时,更多的企业将功能和服务部署至边缘,最终进一步推动企业IT现代化的进程。 2019年和2020年,Rancher分别对近1,000名专业人员展开了调查。调查结果表明,Kubernetes在不同行业连续两年保持了90%以上的采用率,而生产环境中的容器采用率从2019年的85%增长至2020年的87%。 SUSE大中华区总裁秦小康表示:“从调研结果可以清晰地看到,用户持续推动容器在混合云和多云环境落地,92%的受访者将容器作为DevOps、IT运维、IT架构、应用程序开发和基础架构转型的关键部分。” Kubernetes和云:真实环境下的真实工具 近1,000名在技术、工程、电信、银行、网络安全和咨询等行业工作的专业人员的反馈,他们主要专注于实现DevOps、IT运维、IT架构、应用程序开发和基础架构转型,92%的受访者选择使用容器来实现这些目标。 进一步调查显示,76%的受访者通过Amazon EKS、Google Kubernetes Engine(GKE)或Microsoft Azure Kubernetes Service(AKS)将Kubernetes作为其云服务。除此之外,他们在71%的时间都在同一环境使用EC2(AWS弹性计算)和GCP(Google云平台)。 另一方面,这些受访者均更倾向于采用Rancher所推出的Kubernetes发行版。36%的受访者将RKE作为其Kubernetes发行版,而32%的受访者使用K3s。受访者指出,在容器快速发展的大前提下,多层级控制和功能是RKE被广泛采用的关键原因。 推动传统IT架构现代化 受访者表示,容器化是推动传统IT现代化的关键路径。49%的受访者通过容器实现传统IT应用程序的现代化,而67%的受访者利用容器设计基于微服务的应用程序。 通过使用Kubernetes,企业可以将使用了数十年的传统IT系统转化为基于微服务的容器应用程序,并通过Kubernetes进行编排。迁移到Kubernetes还可以使开发团队并行工作,从而减少了重复的可能性,简化开发并加速部署。 在混合云环境中,开发团队还可以通过云托管集群完全替代某些本地工作负载,这些集群可以在像Rancher一样的Kubernetes管理平台上运行和管理,进一步实现IT架构现代化的战略。 推动边缘环境生产落地 容器在生产环境中的采用率逐步增长,也覆盖到了应用端。基于此,许多受访者使用容器来为客户提供各种服务,包括应用程序、边缘计算、混合/多云应用程序、内部应用程序、传统应用程序现代化和将传统应用程序迁移上云等。 K3s等体积较小的Kubernetes已经使企业可以更容易地将功能和服务部署至边缘,它赋予了组织从试点项目转向生产环境的能力,并使其能够根据需要进行扩展。2020年,62%的受访者在边缘使用K3s,去年这一比例仅为50%。 随着混合云网络的成熟,客户可以部署面向客户的云原生微服务应用程序,所需的维护量更少,迭代次数更多,并且可以随时间轻松添加新功能。我们完全有理由相信,在面向客户的环境中几乎完全采用由Kubernetes管理的容器的这一趋势将持续发展。 结论 随着公司将他们的网络、应用程序和流程发展成为一个更现代的框架,他们发现无论环境如何,Kubernetes 都可以随之改变。世界各地的组织正在利用 Kubernetes 解决方案来创建一个云原生微服务集群。他们还对单体系统进行现代化,建立强大的云架构,同时无缝管理现有集群。这是向加速和保护应用程序的时代迈进的一步,同时赋予了DevOps和工程团队利用未来“更聪明地工作”而不是“更努力地工作”的能力。 “容器及Kubernetes是混合云时代软件定义基础架构的最佳选择,它们不仅能帮助企业实现传统IT基础架构的容器化改造,还能帮助企业释放混合云的全部价值。”秦小康总结道:“SUSE将凭借强大的开源开放能力,通过结合容器及Kubernetes的可靠性和灵活性推动企业在任意场景进行无限创新,从而推动创新无处不在。” 关注Rancher公众号,回复关键词【2020K8S】即可获取完整版调研报告内容。 调研实施方SUSE Rancher介绍 Rancher是一个开源的企业级Kubernetes管理平台,实现了Kubernetes集群在混合云+本地数据中心的集中部署与管理。Rancher一向因操作体验的直观、极简备受用户青睐,被Forrester评为“2020年多云容器开发平台领导厂商”以及“2018年全球容器管理平台领导厂商”,被Gartner评为“2017年全球最酷的云基础设施供应商”。 目前Rancher在全球拥有超过三亿的核心镜像下载量,并拥有包括中国联通、中国平安、中国人寿、上汽集团、三星、施耐德电气、西门子、育碧游戏、LINE、WWK保险集团、澳电讯公司、德国铁路、厦门航空、新东方等全球著名企业在内的共40000家企业客户。 2020年12月,SUSE完成收购Rancher Labs,Rancher成为了SUSE “创新无处不在(Innovate Everywhere)”企业愿景的关键组成部分。SUSE和Rancher共同为客户提供了无与伦比的自由和所向披靡的创新能力,通过混合云IT基础架构、云原生转型和IT运维解决方案,简化、现代化并加速企业数字化转型,推动创新无处不在。

优秀的个人博客,低调大师

基于 Nebula Operator 的 K8s 自动化部署运维

摘要:Nebula Operator 是 Nebula Graph 在 Kubernetes 系统上的自动化部署运维插件。在本文,你将了解到 Nebula Operator 的特性及它的工作原理。 从 Nebula Graph 的架构谈起 Nebula Graph 是一个高性能的分布式开源图数据库,从架构上可以看出,一个完整的 Nebula Graph 集群由三类服务组成,即 Meta Service, Query Service(Computation Layer)和 Storage Service(Storage Layer)。 每类服务都是一个由多副本组件组成的集群,在 Nebula Operator 中,我们分别称这三类组件为: Metad / Graphd / Storaged。 Metad:主要负责提供和存储图数据库的元数据,并承担集群中调度器的角色,指挥存储扩容和数据迁移,leader 变更等运维操作。 Graphd:主要负责处理 Nebula 查询语言语句(nGQL),每个 Graphd 都运行着一个无状态的查询计算引擎,且彼此间无任何通信关系。计算引擎仅从 Metad 集群中读取元信息,并和 Storaged 集群进行交互。同时,它也负责不同客户端的接入和交互。 Storaged:主要负责 Graph 数据存储。图数据被切分成很多的分片 Partition,相同 ID 的 Partition 组成一个 Raft Group,实现多副本一致性。Nebula Graph 默认的存储引擎是 RocksDB 的 Key-Value 存储。 在了解了 Nebula Graph 核心组件的功能后,我们可以得出一些结论: Nebula Graph 在设计上采用了存储计算分离的架构,组件间分层清晰,职责明确,这意味着各个组件都可以根据自身的业务需求进行独立地弹性扩容、缩容,非常适合部署在 Kubernetes 这类容器编排系统上,充分发挥 Nebula Graph 集群的弹性扩缩能力。 Nebula Graph 是一个较为复杂的分布式系统,它的部署和运维操作需要比较深入的领域知识,这带来了颇高的学习成本和负担。即使是部署运行在 Kubernetes 系统之上,有状态应用的状态管理、异常处理等需求,原生的Kubernetes 控制器也不能很好的满足,导致 Nebula Graph 集群不能发挥出它最大的能力。 因此,为了充分发挥 Nebula Graph 原生具备的弹性扩缩、故障转移等能力,也为了降低对 Nebula Graph 集群的运维管理门槛,我们开发了 Nebula Operator。 Nebula Operator 是 Nebula Graph 在 Kubernetes 系统上的自动化部署运维插件,依托于 Kubernetes 自身优秀的扩展机制,我们把 Nebula Graph 运维领域的知识,以 CRD + Controller 的形式全面注入到 Kubernetes 系统中,让 Nebula Graph 成为真正的云原生图数据库。 为了能够更好的理解 Nebula Operator 的工作原理,让我们先回顾一下什么是 Operator 什么是 Nebula Operator Operator 并不是什么很新的概念,早在 2017 年,就有 CoreOS 公司推出了 Etcd Operator。Operator 的初衷是为了扩展 Kubernetes 功能,以更好的管理有状态应用,这得益于 Kubernetes 的两大核心概念:声明式 API 和控制循环(Control Loop)。 我们可以用一段伪代码来描述这一过程。 在集群中声明对象X的期望状态并创建X for { 实际状态 := 获取集群中对象 X 的实际状态 期望状态 := 获取集群中对象 X 的期望状态 if 实际状态 == 期望状态 { 什么都不做 } else { 执行事先规定好的编排动作,将实际状态调协为期望状态 } } 在 Kubernetes 系统内,每一种内置资源对象,都运行着一个特定的控制循环,将它的实际状态通过事先规定好的编排动作,逐步调整为最终的期望状态。 对于 Kubernetes 系统内不存在的资源类型,我们可以通过添加自定义 API 对象的方式注册。常见的方法是使用 CustomResourceDefinition(CRD)和 Aggregation ApiServer(AA)。Nebula Operator 就使用 CRD 注册了一个 "Nebula Cluster" 资源,和一个 "Advanced Statefulset" 资源。 在注册了上述自定义资源之后,我们就可以通过编写自定义控制器的方式来感知自定义资源的状态变化,并按照我们编写的策略和逻辑去自动地运维 Nebula Graph,让集群的实际状态朝着期望状态趋近。这也是 Nebula Operator 降低用户运维门槛的核心原理。 apiVersion: nebula.com/v1alpha1 kind: NebulaCluster metadata: name: nebulaclusters namespace: default spec: graphd: replicas: 1 baseImage: vesoft/nebula-graphd imageVersion: v2-preview-nightly service: type: NodePort externalTrafficPolicy: Cluster storageClaim: storageClassName: fast-disks metad: replicas: 3 baseImage: vesoft/nebula-metad imageVersion: v2-preview-nightly storageClaim: storageClassName: fast-disks storaged: replicas: 3 baseImage: vesoft/nebula-storaged imageVersion: v2-preview-nightly storageClaim: storageClassName: fast-disks schedulerName: nebula-scheduler imagePullPolicy: Always 我们在这里展示了一个简单的 Nebula Cluster 实例,如果你想要扩展 Storaged 的副本数量至 10,你只需要简单修改 .spec.storaged.replicas 参数为 10,剩下的运维操作则由 Nebula Operator 通过控制循环来完成。 至此,想必你已经对 Nebula Graph 和 Operator 有了一个初步的认知,接下来,让我们来列举目前 Nebula Operator 已经具备了哪些能力,让你能更加深刻的体会到使用 Nebula Operator 带来的一些实际好处。 部署、卸载:我们将一整个 Nebula Graph 集群描述成一个 CRD 注册进 ApiServer 中,用户只需提供对应的 CR 文件,Operator 就能快速拉起或者删除一个对应的 Nebula Graph 集群,简化了用户部署、卸载集群的过程。 扩容、缩容:通过在控制循环中调用 Nebula Graph 原生提供的扩缩容接口,我们为 Nebula Operator 封装实现了扩缩容的逻辑,可以通过 yaml 配置进行简单的扩容,缩容,且保证数据的稳定性。 原地升级:我们在 Kubernetes 原生提供的 StatefulSet 基础上为其扩展了镜像原地替换的能力,它节省了 Pod 调度的耗时,并且在升级时,Pod 的位置、资源都不发生变化,极大提高了升级时集群的稳定性和确定性。 故障迁移:Nebula Operator 会内部调用 Nebula Graph 集群提供的接口,动态的感知服务是否正常运行,一旦发现异常,会自动的去做故障迁移操作,并根据错误类型配有对应的容错机制。 WebHook:一个标准的 Nebula Graph 最少需要三个 Metad 副本,如果用户错误地修改了此参数,可能会导致集群不可用,我们会通过 WebHook 的准入控制来检查一些必要参数是否设置正确,并通过变更控制来强制修改一些错误的声明,使集群始终能够稳定运行。 参考资料 Nebula Graph:https://github.com/vesoft-inc/nebula 作者有话说:Hi,我是刘鑫超,图数据库 Nebula Graph 的研发工程师,如果你对此文有疑问,欢迎来我们的 Nebula Graph 论坛交流下心得~~

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册
修改密码
忘记密码