首页 文章 精选 留言 我的

【运维小实验】基于VMware的虚拟Linux集群搭建-lvs+keepalived

2017-02-04 740

通过keepalived实现lvs服务器的的双机热备和真实服务器之间的负载均衡的blog挺多的，在搭建的时候也参考了相关博文，不同人搭建的实验环境不一样，本文是基于VM搭建的虚拟集群环境，全部虚拟机网卡模式为NAT方式相连，处于同一网段。

 

搭建环境：

使用redhead 2.6.32-431.el6.x86_64版本的linux，创建四台，配置相关网络信息，确保同一网段下。

wKioL1iV9uTCPz2iAACC-wUpwnM380.png-wh_50

配置好各自ip即可，虚拟ip在配置lvs时设定。


安装配置LVS

1.在主备Lvs上安装ipvsadm和keepalived

LVS是通过IPVS模块实现的，检查kernel是否支持LVS的IPVS模块，再安装IPVS管理软件ipvsadm

[root@rex ~]# modprobe -l | grep ipvs

kernel/net/netfilter/ipvs/ip_vs.ko

kernel/net/netfilter/ipvs/ip_vs_rr.ko

kernel/net/netfilter/ipvs/ip_vs_wrr.ko

kernel/net/netfilter/ipvs/ip_vs_lc.ko

kernel/net/netfilter/ipvs/ip_vs_wlc.ko

kernel/net/netfilter/ipvs/ip_vs_lblc.ko

kernel/net/netfilter/ipvs/ip_vs_lblcr.ko

kernel/net/netfilter/ipvs/ip_vs_dh.ko

kernel/net/netfilter/ipvs/ip_vs_sh.ko

kernel/net/netfilter/ipvs/ip_vs_sed.ko

kernel/net/netfilter/ipvs/ip_vs_nq.ko

kernel/net/netfilter/ipvs/ip_vs_ftp.ko

kernel/net/netfilter/ipvs/ip_vs_pe_sip.ko

安装ipvsadm

[root@rex ~]# yum install ipvsadm

能通过ipvsadm --help查看相关信息即安装成功。

 

安装keepalived

安装依赖库：yum install -y openssl openssl-devel（我是缺这两个，具体编译时候如果报错则安装相关提示补安装相关缺漏）

下载keepalived：

http://www.keepalived.org/software/keepalived-1.2.6.tar.gz

 

安装命令：

# tar zxvf keepalived-1.2.6.tar.gz

# cd keepalived-1.2.6

# ./configure --sysconf=/etc --with-kernel-dir=/lib/modules/2.6.32-431.el6.x86_64 #指定配置文件存放路径，指定使用内核源码中的头文件。

#make

#make install

#ln -s /usr/local/sbin/keepalived /sbin/ #把启动命令软连接到sbin，方便以后直接使用

能通过keepalived --help查看相关信息即安装成功。

 

配置LVS：

主LVS：

! Configuration File for keepalived

 

global_defs {

   notification_email { #配置告警邮件发送

      XXXX@qq.com

   }

   notification_email_from Keepalived@localhost

   smtp_server 192.168.200.1

   smtp_connect_timeout 30

   router_id LVS_DEVEL

}

 

vrrp_instance VI_1 {

    state MASTER #主LVS标志

    interface eth1 #设置对外服务口

    virtual_router_id 51

    priority 100 #设置优先级，优先级高的为主机

    advert_int 1 #设置同步时间间隔

    authentication { #设置主备LVS验证类型和密码，两边必须一致

        auth_type PASS

        auth_pass 1111

    }

    virtual_ipaddress { #设置虚拟服务IP

        192.168.153.110

    }

}

 

virtual_server 192.168.153.110 80 {

    delay_loop 6 #健康检查时间间隔

    lb_algo rr #负载均衡算法，此为轮询算法

    lb_kind DR #负载均衡转发规则，也就是IP转发规则，DR转发方式最快，但是所有机器必须在一个网段内，还有NAT和TUNEL两种转发方式

    protocol TCP

 

    real_server 192.168.153.131 80 {

        weight 1

        TCP_CHECK {

            connect_timeout 3

            nb_get_retry 3

            delay_before_retry 3

        }

    }

 

    real_server 192.168.153.135 80 {

        weight 1

        TCP_CHECK {

            connect_timeout 3

            nb_get_retry 3

            delay_before_retry 3

        }

    }

 

}

 

备用LVS配置：复制上面配置修改两处即可：1.state MASTER改为state BACKUP 2.将priority 100改低，这里改为80

 

配置Realserver

对所有Realserver重复做一下步骤

在/etc/init.d下创建脚本lvsrs

  1 #!/bin/bash

  2

  3 VIP=192.168.153.110

  4 ./etc/rc.d/init.d/functions

  5 case "$1" in

  6 start)

  7         echo "Start LVS of Realserver!"

  8         /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up

  9         echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

 10         echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

 11         echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

 12         echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

 13

 14 ;;

 15

 16 stop)

 17

 18         /sbin/ifconfig lo:0 down

 19         echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore

 20         echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce

 21         echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore

 22         echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce

 23         echo "RealServer Stoped"

 24

 25 ;;

 26

 27 *)

 28

 29         echo "Usage: $0 {start|stop}"

 30

 31         exit 1

 32

 33  esac

 

修改其执行权限：chmod 755 /etc/init.d/lvsrs

 

执行启动脚本：

#service lvsrs start

 

查看其ip：

lo        Link encap:Local Loopback  

          inet addr:127.0.0.1  Mask:255.0.0.0

          inet6 addr: ::1/128 Scope:Host

          UP LOOPBACK RUNNING  MTU:16436  Metric:1

          RX packets:8 errors:0 dropped:0 overruns:0 frame:0

          TX packets:8 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0

          RX bytes:480 (480.0 b)  TX bytes:480 (480.0 b)

 

lo:0      Link encap:Local Loopback  

          inet addr:192.168.153.110  Mask:255.255.255.255

          UP LOOPBACK RUNNING  MTU:16436  Metric:1

 

在realserver上安装apache并且启动！

在 /var/www/hmtl/下添加index.html测试主页，不同server用不同界面进行区分。

 

启动LVS并且测试：

主备LVS启动：/etc/init.d/keepalived start

查看启动状态：

主LVS：

Feb  4 20:11:41 rex Keepalived_vrrp[9522]: VRRP_Instance(VI_1) Transition to MASTER STATE

Feb  4 20:11:42 rex Keepalived_vrrp[9522]: VRRP_Instance(VI_1) Entering MASTER STATE

Feb  4 20:11:42 rex Keepalived_vrrp[9522]: VRRP_Instance(VI_1) setting protocol VIPs.

Feb  4 20:11:42 rex Keepalived_vrrp[9522]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth2 for 192.168.153.110

Feb  4 20:11:42 rex Keepalived_healthcheckers[9521]: Netlink reflector reports IP 192.168.153.110 added

Feb  4 20:11:47 rex Keepalived_vrrp[9522]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth2 for 192.168.153.110

备LVS：

Feb  4 20:18:16 rex Keepalived_vrrp[9522]: VRRP_Instance(VI_1) Received higher prio advert

Feb  4 20:18:16 rex Keepalived_vrrp[9522]: VRRP_Instance(VI_1) Entering BACKUP STATE

Feb  4 20:18:16 rex Keepalived_vrrp[9522]: VRRP_Instance(VI_1) removing protocol VIPs.

Feb  4 20:18:16 rex Keepalived_healthcheckers[9521]: Netlink reflector reports IP 192.168.153.110 removed

Feb  4 20:19:06 rex dhclient[1265]: DHCPREQUEST on eth2 to 192.168.153.254 port 67 (xid=0x6f9b7b38)

 

用ip addr和ipvsadm查看路由情况

主LVS# ip addr

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN

    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

    inet 127.0.0.1/8 scope host lo

    inet6 ::1/128 scope host

       valid_lft forever preferred_lft forever

2: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

    link/ether 00:0c:29:3e:ce:ce brd ff:ff:ff:ff:ff:ff

    inet 192.168.153.133/24 brd 192.168.153.255 scope global eth1

    inet 192.168.153.110/32 scope global eth1

    inet6 fe80::20c:29ff:fe3e:cece/64 scope link

       valid_lft forever preferred_lft forever

 

备LVS# ip addr

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN

    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

    inet 127.0.0.1/8 scope host lo

    inet6 ::1/128 scope host

       valid_lft forever preferred_lft forever

2: eth2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

    link/ether 00:0c:29:0e:6c:b0 brd ff:ff:ff:ff:ff:ff

    inet 192.168.153.134/24 brd 192.168.153.255 scope global eth2

    inet6 fe80::20c:29ff:fe0e:6cb0/64 scope link

       valid_lft forever preferred_lft forever

 

[root@rex ~]# ipvsadm

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  bogon:http rr

  -> bogon:http                   Route   1      0          0         

  -> bogon:http                   Route   1      0          0   

 

测试：

 

1.高可用×××测试--主备lvs切换

把主lvs stop！然后查看备lvs日志，然后把主恢复，再看备lvs的日志

Feb  4 20:11:41 rex Keepalived_vrrp[9522]: VRRP_Instance(VI_1) Transition to MASTER STATE

Feb  4 20:11:42 rex Keepalived_vrrp[9522]: VRRP_Instance(VI_1) Entering MASTER STATE

Feb  4 20:11:42 rex Keepalived_vrrp[9522]: VRRP_Instance(VI_1) setting protocol VIPs.

Feb  4 20:11:42 rex Keepalived_vrrp[9522]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth2 for 192.168.153.110

Feb  4 20:11:42 rex Keepalived_healthcheckers[9521]: Netlink reflector reports IP 192.168.153.110 added

Feb  4 20:11:47 rex Keepalived_vrrp[9522]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth2 for 192.168.153.110

Feb  4 20:18:16 rex Keepalived_vrrp[9522]: VRRP_Instance(VI_1) Received higher prio advert

Feb  4 20:18:16 rex Keepalived_vrrp[9522]: VRRP_Instance(VI_1) Entering BACKUP STATE

Feb  4 20:18:16 rex Keepalived_vrrp[9522]: VRRP_Instance(VI_1) removing protocol VIPs.

Feb  4 20:18:16 rex Keepalived_healthcheckers[9521]: Netlink reflector reports IP 192.168.153.110 removed

Feb  4 20:19:06 rex dhclient[1265]: DHCPREQUEST on eth2 to 192.168.153.254 port 67 (xid=0x6f9b7b38)

Feb  4 20:19:06 rex dhclient[1265]: DHCPACK from 192.168.153.254 (xid=0x6f9b7b38)

Feb  4 20:19:06 rex dhclient[1265]: bound to 192.168.153.134 -- renewal in 737 seconds.

Feb  4 20:19:06 rex NetworkManager[1241]: <info> (eth2): DHCPv4 state changed renew -> renew

Feb  4 20:19:06 rex NetworkManager[1241]: <info>   address 192.168.153.134

Feb  4 20:19:06 rex NetworkManager[1241]: <info>   prefix 24 (255.255.255.0)

Feb  4 20:19:06 rex NetworkManager[1241]: <info>   gateway 192.168.153.2

Feb  4 20:19:06 rex NetworkManager[1241]: <info>   nameserver '192.168.153.2'

Feb  4 20:19:06 rex NetworkManager[1241]: <info>   domain name 'localdomain'

 

2.负载均衡测试

在本地浏览器上访问192.168.153.110，不断刷新，可以看到代表不同realserver的主界面。

wKiom1iV9w6wYtOZAAAJU61aKyk361.png-wh_50

wKiom1iV9w-gPPqTAAAJtsZxKl0244.png-wh_50

3.故障切换测试

把realserver1的服务stop掉，查看LVS的日志，然后恢复再看：

Feb  4 20:25:59 rex Keepalived_healthcheckers[9588]: Netlink reflector reports IP 192.168.153.110 added

Feb  4 20:26:04 rex Keepalived_vrrp[9589]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth1 for 192.168.153.110

Feb  4 20:27:53 rex Keepalived_healthcheckers[9588]: TCP connection to [192.168.153.135]:80 failed !!!

Feb  4 20:27:53 rex Keepalived_healthcheckers[9588]: Removing service [192.168.153.135]:80 from VS [192.168.153.110]:80

Feb  4 20:27:53 rex Keepalived_healthcheckers[9588]: Remote SMTP server [192.168.200.1]:25 connected.

Feb  4 20:28:14 rex Keepalived_healthcheckers[9588]: Error reading data from remote SMTP server [192.168.200.1]:25.

Feb  4 20:28:29 rex Keepalived_healthcheckers[9588]: TCP connection to [192.168.153.135]:80 success.

Feb  4 20:28:29 rex Keepalived_healthcheckers[9588]: Adding service [192.168.153.135]:80 to VS [192.168.153.110]:80

Feb  4 20:28:29 rex Keepalived_healthcheckers[9588]: Remote SMTP server [192.168.200.1]:25 connected.


上一篇 下一篇
优秀的个人博客,低调大师

微信关注我们

原文链接：https://blog.51cto.com/vrfxie/1894947

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

zabbix监控nginx性能状态

nginx在生产环境中的应用越来越广泛，所以需要对nginx的性能状态做一些监控来发现出来出现的问题。zabbix监控nginx，首先确认nginx的监控指标，主要有：基本活动指标，错误指标，性能指标。 nginx处理流程图具体如下: 注释：Accepts（接受）、Handled（已处理）、Requests（请求数）是一直在增加的计数器。Active（活跃）、Waiting（等待）、Reading（读）、Writing（写）随着请求量而增减 名称 描述 指标类型 Accepts（接受） NGINX 所接受的客户端连接数 资源: 功能 Handled（已处理） 成功的客户端连接数 资源: 功能 Active（活跃） 当前活跃的客户端连接数 资源: 功能 Dropped（已丢弃，计算得出） 丢弃的连接数（接受 - 已处理） 工作：错误* Requests（请求数） 客户端请求数 工作：吞吐量 NGINX worker 进程接受 OS 的连接请求时 Accepts 计数器增加，而Handled 是当实际的请求得到连接时（通过建立一个新的连接或重新使用一个空闲的）。这两个计数器的值通常都是相...
2017-02-04
703
上一篇

Linux服务器LVM逻辑卷配置过程

Linux服务器LVM逻辑卷配置过程 通过使用Linux的逻辑卷管理器(Logical Volume Manager, LVM)，用户可以在系统运行时动态调整文件系统的大小，把数据从一块硬盘重定位到另一块硬盘，也可以提高I/O操作的性能，以及提供冗余保护，它的快照功能允许用户对逻辑卷进行实时的备份。对一般用户来讲，使用最多的是动态调整文件系统大小的功能。这样，你在分区时就不必为如何设置分区的大小而烦恼，只要在硬盘中预留出部分空闲空间，然后根据系统的使用情况，动态调整分区大小。以下为在VMware虚拟机中实现的LVM配置过程。 注：硬盘sdb为向虚拟机中添加的硬盘。 一创建逻辑卷 0、fdisk -l查看分区情况。 1、fdisk /dev/sdb 创建分区/dev/sdb1 /dev/sdb2 并加上标示8e,最后要w保存。 2、pvcreate /dev/sdb1 /dev/sdb2 创建物理卷PV。 3、vgcreate vgdata /dev/sdb1 /dev/sdb2 创建卷组（VG）名为vgdata,包含2个物理卷。 4、lvcreate -L 100M -n l...
2017-02-05
600
下一篇

相关文章

发表评论

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2025-12-21 大小: 189MB 下载: 2次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
手机查看

扫码在手机上查看文章

扫描二维码，手机阅读更方便

热门标签
HarmonyOS6 Redis Kubernetes Nacos3 SpringCloud Rocky OpenAi Jdk25 Docker DeepSeek Service Mesh Gemini3 SpringBoot4

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册