教你如何用Keepalived和HAproxy配置高可用 Kubernetes 集群-低调大师

教你如何用Keepalived和HAproxy配置高可用 Kubernetes 集群

2024-02-28 325

本文分享自华为云社区《使用 Keepalived 和 HAproxy 创建高可用 Kubernetes 集群》，作者：江晚正愁余。

高可用 Kubernetes 集群能够确保应用程序在运行时不会出现服务中断，这也是生产的需求之一。为此，有很多方法可供选择以实现高可用。

本教程演示了如何配置 Keepalived 和 HAproxy 使负载均衡、实现高可用。步骤如下：

准备主机。
配置 Keepalived 和 HAproxy。
使用 KubeKey 创建 Kubernetes 集群，并安装 KubeSphere。

集群架构

示例集群有三个主节点，三个工作节点，两个用于负载均衡的节点，以及一个虚拟 IP 地址。本示例中的虚拟 IP 地址也可称为“浮动 IP 地址”。这意味着在节点故障的情况下，该 IP 地址可在节点之间漂移，从而实现高可用。

请注意，在本示例中，Keepalived 和 HAproxy 没有安装在任何主节点上。但您也可以这样做，并同时实现高可用。然而，配置两个用于负载均衡的特定节点（您可以按需增加更多此类节点）会更加安全。这两个节点上只安装 Keepalived 和 HAproxy，以避免与任何 Kubernetes 组件和服务的潜在冲突。

准备主机

IP 地址	主机名	角色
172.16.0.2	lb1	Keepalived & HAproxy
172.16.0.3	lb2	Keepalived & HAproxy
172.16.0.4	master1	master, etcd
172.16.0.5	master2	master, etcd
172.16.0.6	master3	master, etcd
172.16.0.7	worker1	worker
172.16.0.8	worker2	worker
172.16.0.9	worker3	worker
172.16.0.10		虚拟 IP 地址

有关更多节点、网络、依赖项等要求的信息，请参见多节点安装。

配置负载均衡

Keepalived 提供 VRRP 实现，并允许您配置 Linux 机器使负载均衡，预防单点故障。HAProxy 提供可靠、高性能的负载均衡，能与 Keepalived 完美配合。

由于 lb1 和 lb2 上安装了 Keepalived 和 HAproxy，如果其中一个节点故障，虚拟 IP 地址（即浮动 IP 地址）将自动与另一个节点关联，使集群仍然可以正常运行，从而实现高可用。若有需要，也可以此为目的，添加更多安装 Keepalived 和 HAproxy 的节点。

先运行以下命令安装 Keepalived 和 HAproxy。

yum install keepalived haproxy psmisc -y

HAproxy

1.在两台用于负载均衡的机器上运行以下命令以配置 Proxy（两台机器的 Proxy 配置相同）：

vi /etc/haproxy/haproxy.cfg

2.以下是示例配置，供您参考（请注意 server 字段。请记住 6443 是 apiserver 端口）：

global

log /dev/log local0 warning

chroot /var/lib/haproxy

pidfile /var/run/haproxy.pid

maxconn 4000

user haproxy

group haproxy

daemon



stats socket /var/lib/haproxy/stats



defaults

log global

option httplog

option dontlognull

timeout connect 5000

timeout client 50000

timeout server 50000



frontend kube-apiserver

bind *:6443

mode tcp

option tcplog

default_backend kube-apiserver



backend kube-apiserver

mode tcp

option tcplog

option tcp-check

balance roundrobin

default-server inter 10s downinter 5s rise 2 fall 2 slowstart 60s maxconn 250 maxqueue 256 weight 100

server kube-apiserver-1 172.16.0.4:6443 check # Replace the IP address with your own.

server kube-apiserver-2 172.16.0.5:6443 check # Replace the IP address with your own.

server kube-apiserver-3 172.16.0.6:6443 check # Replace the IP address with your own.

3.保存文件并运行以下命令以重启 HAproxy。

systemctl restart haproxy

4.使 HAproxy 在开机后自动运行：

systemctl enable haproxy

5.确保您在另一台机器 (lb2) 上也配置了 HAproxy。

Keepalived

两台机器上必须都安装 Keepalived，但在配置上略有不同。

1.运行以下命令以配置 Keepalived。

vi /etc/keepalived/keepalived.conf

2.以下是示例配置 (lb1)，供您参考：

global_defs {

notification_email {

}

router_id LVS_DEVEL

vrrp_skip_check_adv_addr

vrrp_garp_interval 0

vrrp_gna_interval 0

}



vrrp_script chk_haproxy {

script "killall -0 haproxy"

interval 2

weight 2

}



vrrp_instance haproxy-vip {

state BACKUP

priority 100

interface eth0 # Network card

virtual_router_id 60

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

unicast_src_ip 172.16.0.2 # The IP address of this machine

unicast_peer {

172.16.0.3 # The IP address of peer machines

}



virtual_ipaddress {

172.16.0.10/24 # The VIP address

}



track_script {

chk_haproxy

}

}

备注

对于 interface 字段，您必须提供自己的网卡信息。您可以在机器上运行 ifconfig 以获取该值。
为 unicast_src_ip 提供的 IP 地址是您当前机器的 IP 地址。对于也安装了 HAproxy 和 Keepalived 进行负载均衡的其他机器，必须在字段 unicast_peer 中输入其 IP 地址。

3.保存文件并运行以下命令以重启 Keepalived。

systemctl restart keepalived

4.使 Keepalived 在开机后自动运行：

systemctl enable keepalived

5.确保您在另一台机器 (lb2) 上也配置了 Keepalived。

验证高可用

在开始创建 Kubernetes 集群之前，请确保已经测试了高可用。

1.在机器 lb1 上，运行以下命令：

[[email protected] ~]# ip a s

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

valid_lft forever preferred_lft forever

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000

link/ether 52:54:9e:27:38:c8 brd ff:ff:ff:ff:ff:ff

inet 172.16.0.2/24 brd 172.16.0.255 scope global noprefixroute dynamic eth0

valid_lft 73334sec preferred_lft 73334sec

inet 172.16.0.10/24 scope global secondary eth0 # The VIP address

valid_lft forever preferred_lft forever

inet6 fe80::510e:f96:98b2:af40/64 scope link noprefixroute

valid_lft forever preferred_lft forever

2.如上图所示，虚拟 IP 地址已经成功添加。模拟此节点上的故障：

systemctl stop haproxy

3.再次检查浮动 IP 地址，您可以看到该地址在 lb1 上消失了。

[[email protected] ~]# ip a s

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

valid_lft forever preferred_lft forever

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000

link/ether 52:54:9e:27:38:c8 brd ff:ff:ff:ff:ff:ff

inet 172.16.0.2/24 brd 172.16.0.255 scope global noprefixroute dynamic eth0

valid_lft 72802sec preferred_lft 72802sec

inet6 fe80::510e:f96:98b2:af40/64 scope link noprefixroute

valid_lft forever preferred_lft forever

4.理论上讲，若配置成功，该虚拟 IP 会漂移到另一台机器 (lb2) 上。在 lb2 上运行以下命令，这是预期的输出：

[[email protected] ~]# ip a s

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

valid_lft forever preferred_lft forever

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000

link/ether 52:54:9e:3f:51:ba brd ff:ff:ff:ff:ff:ff

inet 172.16.0.3/24 brd 172.16.0.255 scope global noprefixroute dynamic eth0

valid_lft 72690sec preferred_lft 72690sec

inet 172.16.0.10/24 scope global secondary eth0 # The VIP address

valid_lft forever preferred_lft forever

inet6 fe80::f67c:bd4f:d6d5:1d9b/64 scope link noprefixroute

valid_lft forever preferred_lft forever

5.如上所示，高可用已经配置成功。

使用 KubeKey 创建 Kubernetes 集群

KubeKey 是一款用来创建 Kubernetes 集群的工具，高效而便捷。请按照以下步骤下载 KubeKey。

从 GitHub Release Page 下载 KubeKey 或者直接使用以下命令。

curl -sfL https://get-kk.kubesphere.io | VERSION=v2.0.0 sh -

首先运行以下命令，以确保您从正确的区域下载 KubeKey。

export KKZONE=cn

运行以下命令来下载 KubeKey：

curl -sfL https://get-kk.kubesphere.io | VERSION=v2.0.0 sh -

备注

下载 KubeKey 之后，如果您将其转移到访问 Googleapis 受限的新机器上，请务必再次运行 export KKZONE=cn，然后继续执行以下步骤。

备注

通过以上命令，可以下载 KubeKey 的最新版本 (v2.0.0)。您可以更改命令中的版本号来下载特定的版本。

使 kk 成为可执行文件：

chmod +x kk

使用默认配置创建一个示例配置文件。此处以 Kubernetes v1.21.5 作为示例。

./kk create config --with-kubesphere v3.2.1 --with-kubernetes v1.21.5

备注

安装 KubeSphere 3.2.1 的建议 Kubernetes 版本：v1.19.x、v1.20.x、v1.21.x 或 v1.22.x（实验性支持）。如果不指定 Kubernetes 版本，KubeKey 将默认安装 Kubernetes v1.21.5。有关受支持的 Kubernetes 版本的更多信息，请参见支持矩阵。
如果您没有在本步骤的命令中添加标志 --with-kubesphere，那么除非您使用配置文件中的 addons 字段进行安装，或者稍后使用 ./kk create cluster 时再添加该标志，否则 KubeSphere 将不会被部署。
如果您添加标志 --with-kubesphere 时未指定 KubeSphere 版本，则会安装最新版本的 KubeSphere。

部署 KubeSphere 和 Kubernetes

运行上述命令后，将创建配置文件 config-sample.yaml。编辑文件以添加机器信息、配置负载均衡器等。

备注

如果自定义文件名，那么文件名可能会有所不同。

config-sample.yaml 示例

...

spec:

hosts:

- {name: master1, address: 172.16.0.4, internalAddress: 172.16.0.4, user: root, password: Testing123}

- {name: master2, address: 172.16.0.5, internalAddress: 172.16.0.5, user: root, password: Testing123}

- {name: master3, address: 172.16.0.6, internalAddress: 172.16.0.6, user: root, password: Testing123}

- {name: worker1, address: 172.16.0.7, internalAddress: 172.16.0.7, user: root, password: Testing123}

- {name: worker2, address: 172.16.0.8, internalAddress: 172.16.0.8, user: root, password: Testing123}

- {name: worker3, address: 172.16.0.9, internalAddress: 172.16.0.9, user: root, password: Testing123}

roleGroups:

etcd:

- master1

- master2

- master3

master:

- master1

- master2

- master3

worker:

- worker1

- worker2

- worker3

controlPlaneEndpoint:

domain: lb.kubesphere.local

address: 172.16.0.10 # The VIP address

port: 6443

...

备注

请使用您自己的 VIP 地址来替换 controlPlaneEndpoint.address 的值。
有关更多本配置文件中不同参数的信息，请参见多节点安装。

开始安装

完成配置之后，可以执行以下命令开始安装：

./kk create cluster -f config-sample.yaml

验证安装

1.运行以下命令以检查安装日志。

kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l app=ks-install -o jsonpath='{.items[0].metadata.name}') -f

2.看到以下信息时，表明高可用集群已成功创建。

#####################################################

### Welcome to KubeSphere! ###

#####################################################



Console: http://172.16.0.4:30880

Account: admin

Password: [email protected]



NOTES：

1. After you log into the console, please check the

monitoring status of service components in

the "Cluster Management". If any service is not

ready, please wait patiently until all components

are up and running.

2. Please change the default password after login.



#####################################################

https://kubesphere.io 2020-xx-xx xx:xx:xx

#####################################################

点击关注，第一时间了解华为云新鲜技术~

微信关注我们

原文链接：https://my.oschina.net/u/4526289/blog/11045079

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MySQL8.3 可以给 GTID 打标签了！

本文介绍了 MySQL 8.3 的一个新特性，给 GTID 打标签~ 作者：李富强，爱可生 DBA 团队成员，熟悉 MySQL，TiDB，OceanBase 等数据库。相信持续把对的事情做好一点，会有不一样的收获。爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。本文约 900 字，预计阅读需要 3 分钟。摘要 MySQL 8.3 创新版于 2024 年 1 月 16 号发布，该版本扩展了 MySQL 复制和组复制中使用全局事务标识（GTID）的格式，支持给 GTID 打标签，以支持识别事务组。此增强功能可以为特定事务组的 GTID 分配唯一标识。例如：包含数据操作的事务可以很容易地与管理操作产生的事务区分开来，只需要比较他们的 GTID。 GTID 格式原始格式原始 GTID 格式是 source_id:transaction_id source_id 标识源服务器，通常用 server_uuid 表示。 transaction_id 代表事务在源上提交的顺序，例如要提交第一个事务的 transaction_id 为 1，要在同一源服务器上提交的第...

2024-02-28

301

应用简览 JSON Crack 是一款免费的开源数据可视化应用程序，能够将 JSON、YAML、XML、CSV 等数据格式可视化为交互式图表。凭借其直观且用户友好的界面，JSON Crack 可以轻松探索、分析和理解即使是最复杂的数据结构。主要功能深色模式。支持多种视图以便查看 JSON：图形化、树视图、JSON 视图等使用 AI 转换和过滤数据。导出到 PNG、SVG、JPEG 和剪贴板。通过触摸手势支持缩放和平移。支持 JSON、YAML、CSV、XML、TOML 等数据格式... JQ、JSON 架构、解码 JWT、生成类型和接口。广泛的工具 - 搜索图、json 路径、验证、保存到云... 可嵌入 iframe 小部件。应用特色一、视图模式支持拓扑图与树形图视图模式，使用户能够根据需求选择适合的数据展示方式，增强数据结构的可视化理解，同时图形界面还可以折叠以及修改数据。二、支持多种格式适用于 JSON、YAML、CSV、XML、TOML 等多种数据格式，尽管 TOML 支持仍在完善中，扩大了应用的适用范围。三、Json 文件和 URL 导入数据允许...

2024-02-28

354

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。