磐舟磐基平台：基于KubeEdge的落地实践-低调大师

磐舟磐基平台：基于KubeEdge的落地实践

2023-06-26 617

摘要：实现统一管理、简化多集群的运维系统、减少运营成本；同时也成功将前面提到的500台鲲鹏服务器以及它上面的BC Linux for Euler集群纳入磐基PaaS平台的大家庭之中，运维效率大幅增加。

本文分享自华为云社区《中国移动：磐舟磐基平台基于KubeEdge的落地实践》，作者：中国移动磐舟磐基团队 & 华为iSula团队 & CNCF KubeEdge团队。

磐舟一体化云交付平台是中国移动自主研发的面向开发人员的代码开发，自动部署的平台。磐舟一体化交付平台自研实现了一套GitOps驱动引擎，支持从需求设计、开发构建、测试部署的全部开发与运维功能需求，实现应用一键上磐基容器云平台。

磐基容器云平台是中国移动信息公司基于Kubernetes构建的企业级PaaS解决方案，实现Kubernetes能力的标准化封装及调用，包括提供开发和运行环境、资源弹性伸缩、精细化微服务管理、便捷一站式服务、跨地域多集群调度和智能监控维护等六大能力。

磐舟和磐基是相互配合的，开发人员在磐舟集群上开发，部署到磐基PaaS集群上运行应用，也支持在磐舟上归档磐基集群ops配置，通过GitOps来管理、部署磐基集群。

随着国产化进程推进，中国移动建设了大量的国产化服务器集群，磐基磐舟如何实现国产化的容器云开发交付一体化体系？在某资源池我们需要统一管理近500台鲲鹏服务器，源码可以通过磐舟统一编译为X86/ARM双架构的镜像，但是集群的管理也需要实现ARM自动化支持，开发交付环节频繁使用Kubernetes集群，最近2个月已有800多次的集群创建回收动作，人工支撑显然已经跟不上云原生的发展速度了。

另一个场景是，移动的开发人员在集团磐舟Kubernetes集群上进行开发，制作好镜像后，不能直接推送到省测公司的Kubernetes集群，需要运维人员在磐基中心集群上通过多级ssh跳板机，手工登录到省公司磐基K8s集群进行部署。这一步没有实现自动化，操作流程十分繁琐。

想解决这些问题，我们进行了一些尝试：

首先是考虑是否可以将集群统一？答案显然是不行。因为集团k8s集群，由于业务不同，不能和省公司的k8s集群合为一体。

那么是否可以做k8s的集群联邦？目前集团集群与省公司集群之间可能是比较远的(跨省)，集群联邦的整体消耗会大一些，并且目前跳板机的场景，跳到省公司集群一台机器上就够了，不需要看到省公司的所有机器。

维持ssh现状，维护shell脚本？shell脚本需要人力维护，在省公司的节点逻辑很可能需要使用service来完整，继续维护shell，第一不是那么CloudNative，第二也背离了磐基磐舟轻松上云的初衷。

本着达到灵活、易用，提升集群部署时效，解决端到端开发运维效率，成就内部客户的目的，我们针对整体场景做了进一步抽象，抽象成“1+31+N”的典型网络模型。

1个中心+“31+N”个边缘集群的场景，中心与集群、集群与集群，集群与N之间，存在着网络隔离与网络不可预知的情况；在这些集群之间，保持网络隔离的情况下，在中心节点做到云原生体验的自动化运维，做到GitOps自动化。

带着抽象之后的这个模型，我们在平台管理上进行了深入调研，最终选用了CNCF的云原生边缘计算项目KubeEdge来解决完成以上所有集群的统一管理。

KubeEdge是什么？解决什么问题？

KubeEdge的特点是在云边通信的资源消耗小，使用方式基于Kubernetes，上手方便，比较适合我们当前的场景。KubeEdge项目是华为云开源的一个基于Kubernetes的开放平台，并为网络应用提供基础架构支持，提供云和边缘之间的部署和元数据同步。KubeEdge具有以下几点关键优势：

容器化应用封装

» Build once, run anywhere

» 轻量化基础镜像，降低资源占用

通用的应用抽象、定义

» 业界事实标准

» 云上、边缘统一管理

松耦合的架构

» 易扩展的API框架

» 易于定制平台组件

磐舟磐基平台的KubeEdge实践

通过对KubeEdge的应用场景分析，以及对移动内部1+31+N模型结合，我们可以将集团的“1”想象为KubeEdge的CloudCore节点、将各省公司的node节点想象为EdgeCore节点，从而就实现了1+31+N下的云边协同模型。映射到我们的具体场景是这样：

» 集群业务部署场景：把集团的K8s master节点作为KubeEdge的CloudCore节点，省公司的node节点作为KubeEdge的EdgeCore节点，CloudCore节点与EdgeCore节点连接上后，在EdgeCore上启动磐舟GitOps业务中ArgoCD pod，统一下发CD一体化的元数据，从而将省公司资源池做到方便的集群创建、集群纳管，最终方便的达成自动化GitOps交付。

» 集群自动化创建场景：基于省公司的资源池来创建磐基PaaS集群，运维人员在master节点使用磐舟GitOps，通过CloudCore与EdgeCore的通信，部署来自openEuler社区的集群自动化部署工具-eggo的实例。之后在边缘侧，就可以通过eggo来自动化完成省公司磐基PaaS集群的创建。

综上，通过将KubeEdge集成至磐基PaaS平台，成功打通移动集团与各省公司的网络，实现“1+31+N”的K8S集群全部连通、

实现统一管理、简化多集群的运维系统、减少运营成本；同时也成功将前面提到的500台鲲鹏服务器以及它上面的BCLinux for Euler集群纳入磐基PaaS平台的大家庭之中，运维效率大幅增加。

磐舟磐基平台在多集群管理的下一步计划

在完成KubeEdge集成到磐舟磐基平台这项专项工作之后，考虑到后续不仅是由master节点纳管单个edge节点，还会考虑在将南向集群的单个节点组成一个集群，实现控制面的自动化集群部署，支撑省公司集群的控制面自动化。磐舟磐基平台计划进一步集成CNCF社区最新的集群联邦方案Karmada来完成“1+31+N”的PaaS多集群统一管理工作。

号外

7月7日，华为开发者大会2023 ( Cloud )将拉开帷幕，并将在国内30多个城市、海外10多个国家开设分会场，诚邀您参加这场不容错过的年度开发者盛会，让我们一起开启探索之旅！

我们将携手开发者、客户、合作伙伴，为您呈现华为云系列产品服务与丰富的创新实践，并与您探讨AI、大数据、数据库、PaaS、aPaaS、媒体服务、云原生、安全、物联网、区块链、开源等技术话题，展开全面深入的交流。

大会将汇聚全球科学家、行业领袖、技术专家、社区大咖，开设200多场开发者专题活动，为全球开发者提供面对面交流与合作的机会，共同探讨技术创新和业务发展。

大会官网：https://developer.huaweicloud.com/HDC.Cloud2023.html

参会购票：https://www.vmall.com/product/10086352254099.html?cid= 211761

点击参与开发者社区活动，观赏技术大咖秀、玩转技术梦工厂，有机会赢取4000元开发者礼包！

欢迎关注“华为云开发者联盟”公众号，获取大会议程、精彩活动和前沿干货。

点击关注，第一时间了解华为云新鲜技术~

微信关注我们

原文链接：https://my.oschina.net/u/4526289/blog/10084835

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

教你学会使用Angular 应用里的 export declare const X Y

摘要：export declare const X: Y语法用于在Angular应用程序中声明一个具有指定类型的常量变量，并将其导出，以便在其他文件中使用。本文分享自华为云社区《关于 Angular 应用里的 export declare const X Y 的用法》，作者：Jerry Wang。最近做 Spartacus 的 Angular 开发时，遇到下面这种 TypeScript 代码：对于里面的 declare 用法我理解的似是而非，因此在网上查了一番资料来学习。在 Angular 应用中，export declare const X: Y 表示声明一个常量 X，并将其导出，以便其他模块可以使用。这里的 X 是变量名，Y 是类型。export 关键字用于表示常量可以在其他模块中导入和使用，declare 关键字表示这个常量是在其他地方定义的，不需要为其分配具体的值。这在 TypeScript 中特别有用，因为它可以让你在没有实际值的情况下定义一个类型。在 TypeScript 中，declare 关键字用于告知 TypeScript 编译器，一个变量、常量或函数已经在...

2023-06-26

784

摘要：如果遇到IB网络不通，可以试着从高层往底层逐步分析看看。本文分享自华为云社区《常见IB网络不通问题记录》，作者： tsjsdbd 。如果遇到IB网络不通，可以试着从高层往底层逐步分析看看。仅记录下，供难友参考：一、NCCL不通报错： machine-19: [0] transport/net_ib.cc:839 NCCL WARN NET/IB : Got completion with error 12, opcode 0, len 0, vendor err 129 原因：错误12，说明RDMA网络不通。需要分析底层网络为什么不通。比如：是否单纯网络不通 pfc流控不对导致丢包。如果是（2）这种偶现不通的话，可以参考pfc设置规则：《为什么华为云上AI训练必须设置NCCL_IB_TC=128》二、ib_write_bw不通报错1： root@tsjsdbd:~# ib_write_bw ---------------------------------------------------------- RDMA_Write BW Test Dual-...

2023-06-26

565

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。