负载均衡集群介绍、LVS介绍、LVS调度算法、LVS NAT模式搭建-低调大师

负载均衡集群介绍、LVS介绍、LVS调度算法、LVS NAT模式搭建

2017-11-11 718

负载均衡集群介绍

实现负载均衡集群的软件有：LVS、Keepalived、Nginx、haproxy等。其中LVS属于四层（网络OSI模型）；Nginx属于七层；haproxy既可以认为是四层，也可以当做是七层使用。

LVS、haproxy这种四层负载均衡可以分发除80端口以外的通信，如MySQL-3306；而Nginx仅仅支持http，https，mail。

Keepalived工作在TCP/IP 参考模型的三层、四层、五层，也就是分别为：网络层，传输层和应用层

LVS介绍

LVS是基于tcp/ip做的路由和转发，稳定性和效率很高，LVS最新版本是基于Linux内核2.6。LVS常见的模式有三种：NAT、DR、IP Tunnel。LVS架构中有一个核心角色叫分发器（Load Balance），用于分发客户的各种请求，另外还有诸多服务器（real server，简称rs），用于处理用户各种请求。

NAT模式：

原理：这种模式借助iptables的nat表来实现

用户的请求到分发器后，通过预设的iptables规则，把请求的数据包转发到后端的rs上去，

rs需要设定网关为分发器的内网ip

用户请求的数据包和返回给用户的数据包全部经过分发器，所以分发器成为瓶颈

在nat模式中，只需要分发器有公网ip即可，所以比较节省公网ip资源

在该模式中，load balancer（负载均衡）是限制该架构处理用户请求的一个瓶颈，所以该模式比较适合小模式的集群（服务器rs在10台以内）；该模式的优势是节省公网资源。

IP Tunnel模式

这种模式，需要有一个公共的IP配置在分发器和所有rs上，我们把它叫做vip

客户端请求的目标IP为vip，分发器接收到请求数据包后，会对数据包做一个加工，会把目标IP改为rs的IP，这样数据包就到了rs上

rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以rs直接返回给客户，不需经过分发器

DR模式

这种模式，也需要有一个公共的IP配置在分发器和所有rs上，也就是vip

和IP Tunnel不同的是，它会把数据包的MAC地址修改为rs的MAC地址

rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以rs直接返回给客户，不需经过分发器

LVS调度算法

轮询 Round-Robin rr

加权轮询 Weight Round-Robin wrr

最小连接 Least-Connection lc

#算法是把新的连接请求分配到当前连接数最小的服务器。最小连接调度是一种动态调度算法，它通过服务器当前所活跃的连接数来估计服务器的负载情况。调度器需要记录各个服务器已建立连接的数目，当一个请求被调度到某台服务器，其连接数加1；当连接中止或超时，其连接数减一。

加权最小连接 Weight Least-Connection wlc

基于局部性的最小连接 Locality-Based Least Connections lblc

带复制的基于局部性最小连接 Locality-Based Least Connections with Replication lblcr

目标地址散列调度 Destination Hashing dh

源地址散列调度 Source Hashing sh

常用的是前面四种算法。

LVS NAT模式搭建

三台机器。

分发器（调度器director）

内网：192.168.3.74 外网：192.168.136.128

添加一个网卡：

完成后：输入ip a查看网卡

ping 下192.168.136.128是否可以在window下ssh连接

real server1（real1）

内网：192.168.3.76 设置网关为： 192.168.3.74

real server2（real2）

内网：192.168.3.83 设置网关为： 192.168.3.74

在分发器上操作：

[root@centos7 ~]# systemctl stop firewalld

[root@centos7 ~]# systemctl disable firewalld

Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

Removed symlink /etc/systemd/system/basic.target.wants/firewalld.service.

[root@centos7 ~]# setenforce 0

setenforce: SELinux is disabled

在rs1、rs2上操作：

说明：进行该设置的原因是NAT模式是基于防火墙nat表的一种模式，所以会使用iptables规则。

[root@test ~]# iptables -F

[root@test ~]# service iptables save

配置分发器:

1、[root@centos7 ~]# yum install -y ipvsadm

2、配置ipvsadm脚本：

[root@centos7 local]# vi /usr/local/sbin/lvs_nat.sh

echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects

# 注意区分网卡名字，adai的两个网卡分别为ens33和ens37

echo 0 > /proc/sys/net/ipv4/conf/eno16777736/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects

# director 设置nat防火墙

iptables -t nat -F

#删除自定义空链

iptables -t nat -X

#以下是可以连接外网

iptables -t nat -A POSTROUTING -s 192.168.3.0/24 -j MASQUERADE

# director设置ipvsadm规则

IPVSADM='/usr/sbin/ipvsadm'

$IPVSADM -C

#-C=clear，清除规则

$IPVSADM -A -t 192.168.136.128:80 -s rr

#-A：=add，添加规则；-t：=tcp；-s 指定算法；

#在此可以添加-p：指定超时时间（解决session问题：保证同一请求被分发到同一rs上）

#因为添加-p选项后会影响测试效果，所以在此不加该参数（注：时间不能设置为0）

$IPVSADM -a -t 192.168.136.128:80 -r 192.168.3.76:80 -m -w 1

$IPVSADM -a -t 192.168.136.128:80 -r 192.168.8.83:80 -m -w 1

#-a：=add，增加nat架构中的rs；-r：指定rs的IP；-m：指定LVS模式为NAT（masquerade）

#-w：=weight，指定权重

[root@centos7 local]# sh /usr/local/sbin/lvs_nat.sh

#没有任何输出，表示执行成功，可以用echo $?查看

[root@centos7 local]# ipvsadm -ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.136.128:80 rr

-> 192.168.3.76:80 Masq 1 0 0

-> 192.168.8.83:80 Masq 1 0 0

配置rs

1、在两台rs上安装Nginx，并分别设置其主页用来区分两台机器。

2、将rs1、rs2的网关指向192.168.3.74上

[root@test ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0

GATEWAY=192.168.3.74

访问：