CentOS下LVS DR模式详细搭建过程-低调大师

CentOS下LVS DR模式详细搭建过程

2016-08-08 586

1、LVS环境组网

由于是使用的VM环境，自己PC当作客户机（即公网地址），调度器与服务器都是VM中虚拟机，所以客户和所有服务器之间都是物理直接相连网络,逻辑拓扑图如下：

2、ipvsadm安装前准备

外部IP地址内部IP地址角色

10.211.55.16/24 192.168.1.3/24 LVS调度器（虚拟机）

10.211.55.15/24 192.168.1.4/24 RS1（虚拟机）

10.211.55.14/24 192.168.1.5/24 RS2（虚拟机）

10.211.55.19/24 无客户机（自己电脑）

注：实际应用中RS1 RS2没有外部地址，当前环境中，没有物理双网卡环境，都采用一个网卡配置多个IP地址。例：

[root@LVS1 ~]# cp /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-scripts/ifcfg-eth0:0
[root@LVS1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0:0   #修改后保存退出
DEVICE=eth0:0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.3
NETMASK=255.255.255.0
[root@LVS1 ~]# /etc/init.d/network restart

3、httpd与ipvsadm下载

1）在各服务器上关闭防火墙和修改主机名：

[root@LVS1 ~]# service iptables stop
[root@LVS1 ~]# hostname LVS1
[root@RS1 ~]# service iptables stop
[root@RS1 ~]# hostname RS1
[root@RS2 ~]# service iptables stop
[root@RS2 ~]# hostname RS2

2）在RS1 RS2上安装httpd服务

[root@RS2 ~]# yum install httpd &ndash;y
[root@RS2 ~]#/etc/init.d/httpd start
[root@RS2 ~# ps -ef | grep httpd

[root@RS1 ~]# yum install httpd &ndash;y
[root@RS1 ~]# /etc/init.d/httpd start
[root@RS1 ~# ps -ef|grep httpd          <==查看httpd服务是否起来


[root@RS1 ~]# cat /etc/httpd/conf/httpd.conf | grep DocumentRoot  <==查找系统站点目录路径
# DocumentRoot: The directoryout of which you will serve your
DocumentRoot"/var/www/html"
# This should be changed towhatever you set DocumentRoot to.
#    DocumentRoot/www/docs/dummy-host.example.com

[root@RS1 ~]# echo"RS1" > /var/www/html/index.html
[root@RS2 src]# echo"RS2" > /var/www/html/index.html

Httpd服务测试：

3）下载ipvsadm

wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz

ln 我所使用的源包下载目录/usr/local/src

我的LVS环境：

[root@LVS1 ~]# yum -y install kernel-devel gcc c++
[root@RS1 src]# cat /etc/redhat-release
CentOS release 5.8 (Final)
[root@RS1 src]# uname -rm
2.6.18-308.el5 x86_64

ipvsadm-1.26对内核有要求，要求内核版本在2.6.28及以后的版本，如果符合了系统环境，还要安装依赖包yum install libnlpopt -y。我的内核版本不满足，使用ipvsadm-1.24。

[root@LVS1 src]# tar -zxf ipvsadm-1.24.tar.gz
[root@LVS1 src]# ln -s /usr/src/kernels/2.6.18-348.12.1.el5-x86_64 /usr/src/linux   <==编译有使用的路径为/usr/src/linux，可在Makefile中查看，如果不做链接，会编译失败
[root@LVS1 src]# ll /usr/src/
total 16
drwxr-xr-x 2 root root 4096 May11  2011 debug
drwxr-xr-x 3 root root 4096Aug  5 03:53 kernels
lrwxrwxrwx1 root root   43 Aug  5 03:56 linux ->/usr/src/kernels/2.6.18-348.12.1.el5-x86_64<==要使用ll /usr/src/查看，如果软链接一闪一闪的，代表链接失败

[root@LVS1 src]# cd ipvsadm-1.24
[root@LVS1 ipvsadm-1.24]# make && make install   <==如果编译失败，请按上面步骤一步一步排错。
[root@LVS1 ipvsadm-1.24]# lsmod |grep ip_vs     <==查看内核模块是否有ipvsadm
[root@LVS1 ipvsadm-1.24]# ipvsadm
IP Virtual Server version 1.2.1(size=4096)
Prot LocalAddress:PortScheduler Flags
 -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

还有一种加载ipvsadm方法，用modprobe ip_vs

[root@LVS1 ipvsadm-1.24]# lsmod |grep ip_vs  <==查看内核模块，有代表ipvsadm加载进内核当中，此时LVS安装完毕
ip_vs 122113 0

4、LVS负载均衡配置

1）配置VIP和DIP

IP配置参考步骤2安装准备

[root@LVS1 ~]# ifconfig eth0 10.211.55.16 netmask 255.255.255.0   #VIP
[root@LVS1 ~]# ifconfig eth0:1 192.168.1.3 netmask 255.255.255.0 #DIP

2）添加真实服务器

[root@LVS1 ~]# ipvsadm &ndash;C      <==手工清空原来表内容
[root@LVS1 ~]# ipvsadm --set 30 5 60    <== 设置连接超时值
[root@LVS1 ~]# ipvsadm -A -t 10.211.55.16:80 -s wrr -p 20 <== -A添加地址，-t指定VIP TCP端口，-s指定调度算法–p会话保持时间
[root@LVS1 ~]# ipvsadm -L -n     <== 查看表内容，添加了一组VIP地址和端口
IP Virtual Server version 1.2.1(size=4096)
Prot LocalAddress:PortScheduler Flags
 -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.211.55.16:80 wrr persistent 20
[root@LVS1 ~]# ipvsadm -a -t 10.211.55.16:80 -r 192.168.1.4:80 -g -w 1  <== -a指定真实服务器， -t lvs上VIP，-r真实服务器ip及端口，-w权重值，-g先择DR模式（-m为NAT模式）
[root@LVS1 ~]# ipvsadm -a -t 10.211.55.16:80 -r 192.168.1.5:80 -g -w 1
[root@LVS1 ~]# ipvsadm -L -n      <== 查看表内容，添加了两台负载转发的真实服务器
IP Virtual Server version 1.2.1(size=4096)
Prot LocalAddress:PortScheduler Flags
 -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.211.55.16:80 wrr persistent 20
 -> 192.168.1.4:80               Route   1     0          0        
 -> 192.168.1.5:80               Route   1     0          0

如果添加服务器地址写错了，可用如下命令删除，即大A添加改为大D删除，小a添加改为小d删除

ipvsadm &ndash;D &ndash;t10.211.55.16:80 &ndash;s wrr
ipvsadm &ndash;d &ndash;t10.211.55.16:80 &ndash;r 192.168.1.4:80

5、真实WEB服务器配置及arp抑制

[root@RS1 ~]# ifconfig eth0 | grep "inet addr"   <==此地址用来自己电脑用CRT软件登陆设备，同时也用来发送arp请求客户机MAC（因为是直接返回页面给客户机，而当前网络是同一物理网段，必须同网段才正常）。
         inet addr:10.211.55.15  Bcast:10.211.55.255  Mask:255.255.255.0
[root@RS1 ~]# ifconfig eth0:0 192.168.1.4 netmask 255.255.255.0   <==配置内部IP地址
[root@RS1 ~]# ifconfig lo 10.211.55.16 netmask 255.255.255.255   <==每台真实服务器都需要配置VIP

为什么要绑定VIP呢？因为DR模式原理是LVS调度器修改mac地址为真实服务器地址，报文的目的IP还是VIP没修改，，网卡只会把目的MAC和目的IP都是自己的报文上送CPU，所以真实服务器上必须配置VIP! 为什么使用lo口呢？因为lo口为本地环回口，防止本地局域网IP地址冲突!

[root@RS2 src]# ifconfi eth0| grep "inet addr"  <==此地址用来自己电脑用CRT软件登陆设备，同时也用来发送arp请求客户机MAC（因为是直接返回页面给客户机，而当前网络是同一物理网段，必须同网段才正常）。
         inet addr:10.211.55.14  Bcast:10.211.55.255  Mask:255.255.255.0
[root@RS2 src]# ifconfig eth0:0 192.168.1.5 netmask 255.255.255.0  <==配置内部IP地址
[root@RS2 src]# ifconfig lo 10.211.55.16 netmask 255.255.255.255

此时配置完成，只是测试时出现一个问题，再次登陆CRT中 10.211.55.16地址时，登陆到RS1上去了，再刷新，登陆到RS2上去了。怎么解决呢？通过分析，得出，访问10.211.55.16时，会发送arp请求10.211.55.16的mac,而这个网络中有3个10.211.55.16地址，此时，那谁给的arp回应到客户机，访问的就是谁了。如果RS1的arp回应先到，就访问的RS1了解决方法：抑制ARP响应该抑制只在真实服务器上配置

[root@RS1 ~]# echo"1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
[root@RS1 ~]# echo"2" >/proc/sys/net/ipv4/conf/lo/arp_announce
[root@RS1 ~]# echo"1" >/proc/sys/net/ipv4/conf/all/arp_ignore
[root@RS1 ~]# echo"2" >/proc/sys/net/ipv4/conf/all/arp_announce

[root@RS2 src]# echo"1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
[root@RS2 src]# echo"2" >/proc/sys/net/ipv4/conf/lo/arp_announce
[root@RS2 src]# echo"1" >/proc/sys/net/ipv4/conf/all/arp_ignore
[root@RS2 src]# echo"2" >/proc/sys/net/ipv4/conf/all/arp_announce

1 2都代表什么内容，可在最后附录中查看，也可自己网上搜索

显示的值是RS1,则此时该链接是分配到192.168.1.4上

我们使用的是wrr调度算法，该算法中，谁的权重值高，会优先分配给谁查看配置，发现权重值一样

[root@LVS1 ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1(size=4096)
Prot LocalAddress:PortScheduler Flags
 -> RemoteAddress:Port           ForwardWeight ActiveConn InActConn
TCP  10.211.55.16:80 wrr persistent 20
 -> 192.168.1.4:80               Route   1     0         0        
 -> 192.168.1.5:80               Route   1     0         0

由于有会话保持功能，接下来修改权重值

[root@LVS1 ~]# ipvsadm -d -t 10.211.55.16:80 -r 192.168.1.5:80  <==删除原来配置
[root@LVS1 ~]# ipvsadm -a -t 10.211.55.16:80 -r 192.168.1.5:80 -g -w 2 <==重新配置权重值为2
[root@LVS1 ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1(size=4096)
Prot LocalAddress:PortScheduler Flags
 -> RemoteAddress:Port           ForwardWeight ActiveConn InActConn
TCP  10.0.0.30:80 wrr persistent 20
 -> 192.168.1.5:80               Route   2     0         0        
 -> 192.168.1.4:80               Route  1     0         0

再次进行测试：

7、附：arp抑制参数

arp响应限制

1）arp_ignore:

定义对目标地址为本地IP的ARP询问不同的应答模式0 0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求 1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求 2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内 3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应 4-7 - 保留未使用 8 -不回应所有（本地地址）的arp查询

2）arp_announce:

对网络接口上，本地IP地址的发出的，ARP回应，作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口 0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址 1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理. 2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.

微信关注我们

原文链接：https://blog.51cto.com/9827789/1835718

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

源码更新curl后报CRYPTO_set_locking_callback错误

CRYPTO_set_locking_callback() is available in all versions of SSLeay and OpenSSL.undefined symbol: CRYPTO_set_locking_callback正确解决办法是编译时指定ssl的路径。编译LNMP新环境物料过程，源码编译安装了curl后，发现很多调用curl库文件的地方报错。比如无意中执行了yum安装命令，就发现有如下报错，pycurl.so调用出错。报错内容： /usr/lib64/python2.6/site-packages/pycurl.so:undefinedsymbol:CRYPTO_set_locking_callback 通过ldd命令查看pycurl.so文件： ldd/usr/lib64/python2.6/site-packages/pycurl.so linux-vdso.so.1=>(0x00007fff6b7c5000) /$LIB/libonion.so=>/lib64/libonion.so(0x00007fb2ee6e8000) l...

2016-08-08

622

shyis最近微软中国Azure更新速度似乎已经超越任何时期了，前两天刚刚更新的Azure云助理，让众多Azure用户实现在移动端灵活的管理Azure资源，相信对于云服务来讲这也是未来不可或缺的管理方式之一。说到管理方式，不得不说微软中国Azure近期更新的另一大神器预览版门户。说到Azure预览版门户，其实已经不是什么新玩意，毕竟在国际版Azure中已经预览了非常之久了。但对于中国版Azure来说毕竟是一个非常重要的更新，今天给大家带来的就是中国版Azure的预览版介绍以及通过配置固定公网IP作为实例来进行演示。在中国版Azure更新预览版门户之前，要想使用固定公网IP是非常麻烦的，需要使用Azure PowerShell并结合相关cmdlet来实现。而今天我们直接使用预览版门户来完成全部操作，不需要编写和敲击任何代码，全程使用熟悉的图形化界面。首先我们可以通过此地址打开预览版门户： https://portal.azure.cn 进入熟悉的登录界面，通过Azure帐户和密码进行登录。呈现在我们面前的是与国际版Azure完全一致界面的预览版门户，这也与Azure Stack界...

2016-08-08

716

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。