作者
万绍远，CNCF 基金会官方认证 Kubernetes CKA&CKS 工程师，云原生解决方案架构师。对 ceph、Openstack、Kubernetes、prometheus 技术和其他云原生相关技术有较深入的研究。参与设计并实施过多个金融、保险、制造业等多个行业 IaaS 和 PaaS 平台设计和应用云原生改造指导。
“大航海”时代，国内企业纷纷在出海赛道上扬帆起航。伴随着业务出海，系统也要做全球化部署，公有云成为了出海企业的首选。
但是，Kubernetes 在企业落地过程中仍然面临诸多挑战：
需要经验丰富的 IT 人员对 Kubernetes 集群进行部署、升级、监控， 确保系统可靠性。
多个 Kubernetes 集群如何进行统一策略管理、安全管控，实现集中式的可视化管控和一致性运维 ?
如何利用 Kubernetes 和周边生态技术栈，更高效地迭代和交付业务应用 ?
Rancher 就是一款很好的工具，能够通过其多集群管理能力和 Kubernetes 生命周期安全支持，帮助出海业务提高部署效率，降低运维成本。
多集群统一纳管
![]()
业务出海需要重点评估平滑迁移成本。容器是非常好的应用载体，诸多企业考虑在海外公有云使用 Kubernetes。那么应该选择公有云的虚拟机自建 Kubernetes？还是直接使用公有云厂商的 Kubernetes 发行版，例如 AWS EKS 或者 Azure AKS 呢？
建议企业使用公有云的 Kubernetes 发行版，因为它直接与公有云的基础设施进行了集成，可以更好地利用云上资源，提高部署效率，降低运维成本。以 AWS EKS 为例，使用 EKS 创建 Loadblance 类型的 Service 会自动在 AWS 中创建 ELB 负载均衡器，存储自动对接了 EBS 和 EFS。相比自建 Kubernetes 来说，降低了手动对接的操作过程。
Rancher 支持国内外主流的公有云 Kubernetes 发行版，如 EKS、GKE、ACK、CCE、TKE、AKS……用户可通过 Rancher 一键创建并纳管这些云供应商的 Kubernetes 发行版。
以一个客户架构为例
1、在中国本地数据中心部署 Rancher，本地数据中心的 Kubernetes 使用 RKE 进行部署，并同时建设同城灾备环境。
2、海外业务集群使用 Rancher 对接 AWS，创建对应的 EKS 集群进行统一纳管，通过专线连接。
![]()
使用 Rancher 部署 EKS 集群示例
AWS 配置:
1、在 AWS 中提前创建 VPC 和安全组
2、添加 IAM 权限，创建策略：https://docs.ranchermanager.rancher.io/zh/reference-guides/amazon-eks-permissions/minimum-eks-permissions
![]()
3、创建用户关联此策略
![]()
![]()
Rancher 配置
1、创建集群
![]()
2、选择 EKS
![]()
3、选择对应的区域和配置信息
![]()
填写生成的账户 Access-key 和 Secret-key
![]()
4、配置 VPC 和子网
![]()
5、配置节点主机规格
6、集群创建完成
![]()
对应的 AWS 页面也能看见创建的集群。在 Rancher UI 创建负载均衡和创建 PVC 也会自动在 AWS 中创建
![]()
多集群统一发布
跨集群应用克隆
当实现多集群纳管后也带来一个问题：用户在测试集群部署服务验证可用以后，如何快速地将应用直接发布到生产集群？如果只能在生产集群中手动创建应用，在手动配置过程中容易出现参数丢失等问题。
为了解决这些问题，Rancher 企业版从设计之初就新增了跨集群应用克隆的功能，可以一键将某一集群的应用发布到其他集群，减少用户手动配置的工作量。 同时用户还可以通过跨集群应用克隆功能，提前将应用备份到其他集群，一旦有集群崩溃的情况出现，可以马上切换流量到其他集群提供服务，快速实现应用的恢复。
![]()
![]()
Gitops 统一发布
同时 Rancher 也内置了 Gitops 工具 Fleet，实现海量集群同步分发
![]()
![]()
- 将应用代码和构建 Docker 镜像的 Dockerfile 文件放置到 Gitlab 对应项目中
- 在 Gitlab 中创建用于专门用于存放部署 yaml 的项目
- 配置 CI 工具用于代码编译镜像构建和业务 yaml 文件修改
- 配置 Rancher-Fleet 检测存放部署 yaml 的项目，有更新后自动部署到对应环境中
点击持续交付功能创建 Fleet 规则
![]()
配置对接 git 仓库存放应用部署 yaml 的路径
![]()
可以选择部署到全部集群还是指定集群，或通过标签灵活定义的集群组中
![]()
完成后可以看见应用部署的状态，后续也会实时检测 git 仓库中的变化，进行自动部署
![]()
多集群监控
每个集群可以部署独立的 Prometheus，对单独集群进行监控，可支持对容器云平台以下维度的监控：
- 集群总体资源使用情况
- 节点资源使用情况
- 组件性能监控
- 应用容器 POD 资源使用监控
但在多集群场景下，单独集群监控需要一个一个点进去，并且人工分析数据，更大的作用是故障后的问题排查，并不能很好地提前发现问题。更好的处理方式是将纳管的全部集群监控数据进行汇总和分析展示。如：内存、CPU、网络流量最高的 top 10（集群、主机、POD）；重启次数最多的 top 10 POD；全部集群 Error 事件统一展示；以便更好地帮助平台运维提前发现风险点。
![]()
全局监控主要通过 Thanos 实现，会在每个集群的 Prometheus 上通过 Thanos sidecar。对于单个集群的短期数据，Prometheus 通过 local-pv 存储到本地磁盘；而长期数据则通过 Thanos-sidecar 存储到 s3 协议的对象存储中。
![]()
安全
随着 Kubernetes 在业务中的广泛使用，容器安全问题正逐步受到重视。容器云平台的安全涉及到镜像安全、集群安全以及容器运行时安全，同时也涉及到租户网络隔离、用户及用户权限控制。Rancher 集成了容器安全平台 SUSE NeuVector，可以更好地保护用户的平台安全。
NeuVector 本身也支持多集群管理、策略统一下发和规则统一管理。
![]()
审计日志
为了满足我国本土用户需求，Rancher 企业版在 UI上集成了多维度审计日志展示功能（什么人在什么时间操作了什么资源对象，结果是什么）。通过审计日志，平台管理员可以快速查看到平台的操作记录，方便进行审计。
![]()
准入策略控制及网络微隔离
SUSE NeuVector 是业界首个 100% 开源的零信任容器安全平台，在 Rancher 新版本中已经进行了集成，可直接部署使用。NeuVector 可实现以下功能
![]()
1、准入策略控制
进入NeuVector进行配置
![]()
![]()
2、在准入控制菜单添加以下策略
由于容器运行期间会共享宿主机的内核、存储和端口，所以在实际生产环境中，误操作或平台被入侵将影响宿主机上其他应用 Pod 的正常运行，因此需要针对集群进行 Pod 的安全策略控制，以此来保证主机安全。
- 禁止使用特权容器
- 禁止从父进程获取更多权限
- 限制使用主机 IPC
- 限制只能只读根文件系统
- 限制 HostPath 路径
- 限制 HostPort 使用范围
3、网络动态微隔离
集群内 POD 间需要进行网络微隔离，提高安全性，避免 POD 被入侵后互相影响。NeuVector 将每个 workload 识别为一个组，通过对组进行策略控制，并且每个组默认会自动学习对应的网络连接规则和启动进程，并生成白名单。
NeuVector 的组支持 3 种模式：学习模式、监控模式和保护模式。各个模式实现作用如下。
学习模式：学习和记录容器、主机间网络连接情况和进程执行信息。自动构建网络规则白名单，保护应用网络正常行为。为每个服务的容器中运行的进程设定安全基线，并创建进程配置文件规则白名单。
监控模式：NeuVector 监视容器和主机的网络和进程运行情况，遇到非学习模式下记录的行为将在 NeuVector 中进行告警。监控模式不会消耗资源。
保护模式：NeuVector 监视容器和主机的网络和进程运行情况，遇到非学习模式下记录的行为直接拒绝。保护模式是直接拒绝非白名单的访问请求，执行器需要 CPU 和内存通过深度数据包检查来过滤连接，进行判断处理，所以会消耗更多的 CPU 资源。
新建的容器业务自动发现后默认为学习模式，也可以通过设置将默认模式设置为监控模式或保护模式。
总结
总之，Rancher 的多集群管理能力（多集群管理、多集群应用统一发布、多集群监控）和 Kubernetes 生命周期安全支持可以帮助企业提升部署效率，降低运维成本，是出海企业进行全球化部署的明智选择。
