HAProxy负载均衡与keepalived搭建高可用负载均衡web（Nginx/PHP/Tomcat）集群-低调大师

HAProxy负载均衡与keepalived搭建高可用负载均衡web（Nginx/PHP/Tomcat）集群

2016-04-16 946

HAProxy简介

HAProxy是基于TCP四层和HTTP七层的开源的第三方应用负载均衡软件。具有高可靠性、高稳定性、高并发处理能力、透明代理和支持ACL功能等特点。HAProxy是一个功能强大且优秀的负载均衡集群解决方案。

HAProxy负载均衡算法

Haproxy的负载均衡算法在backend模块中通过balance命令来定义，常见的算法有：

roundrobin: 轮叫调度算法，可以通过定义权值来分配后端服务器

static-rr : 静态的基于权重的轮叫调度算法

source: 源IP地址哈希算法，按请求访问的IP地址进行hash运算，将来自用一个IP地址的访问固定到同一台后端服务器

uri: URI哈希算法，按请求访问的URI进行hash运算，将请求转发到匹配的后端服务器

uri_param: 根据访问的URL路径中的参数选择后端服务器

leastconn: 最少连接调度算法，将连接请求转发到最少连接数目的后端服务器

hdr(name): 表示根据HTTP请求头进行转发

cookie: 表示根据定义的SERVERID转发请求

需求分析：

现有4个域名通过HAProxy代理对外提供web服务，HAProxy是集群中的前端代理和负载调度器的角色，分别代理后端的多台Tomcat、Nginx+PHP、Apache服务器（Real Server），HAProxy同时搭建了两台，分别是Master和Backup，通过Keepalved实现双机热备，防止单点故障。HAProxy和Real Server的调度规则如下：

HAProxy --> Domain1 --> 192.168.1.10 --> 192.168.1.231/192.168.1.232(Nginx+PHP)

HAProxy --> Domain2 --> 192.168.1.10 --> 192.168.1.231:8080(Tomcat)

HAProxy --> Domain3 --> 192.168.1.10 --> 192.168.1.232:8080(Tomcat)

HAProxy --> Domain4 --> 192.168.1.10 --> 192.168.1.211:80(Apache)

实验拓扑：

环境介绍：（系统CentOS6.7）

Hostname	IPADDR	Role	Server
master	192.168.1.33	Director	haproxy-1.5.9 + keepalived
backup	192.168.1.34	Director	haproxy-1.5.9 + keepalived
host1	192.168.1.231	Real Server	Tomcat Nginx PHP
host2	192.168.1.232	Real Server	Tomcat Nginx PHP
host3	192.168.1.211	Real Server	Apache MySQL

Web server：

Domain1: www.huangming.org

Domain2: web1.huangming.org

Domain3: web2.huangming.org

Domain4: www.localhost.com

Step1：在Master上安装HAProxy服务

1、安装haproxy-1.5.9.tar.gz，官方地址http://www.haproxy.com

# tar zxf haproxy-1.5.9.tar.gz

# cd haproxy-1.5.9

# make TARGET=linux26 PREFIX=/usr/local/haproxy

# make install PREFIX=/usr/local/haproxy

2、创建haproxy配置文件目录

# mkdir /usr/local/haproxy/conf

# cp examples/haproxy.cfg /usr/local/haproxy/conf/

HAproxy的配置文件

HAproxy配置文件主要由5个部分组成：

1、global部分：用来设定全局配置参数，属于进程级，通常和操作系统配置有关

2、defaults部分：默认参数配置部分。在此部分下，默认会自动引用到下面的frontend、backend和listen部分中，因此如果某些参数属于公用的配置，只需在defaults部分添加一次即可。

3、frontend部分：用于设置接收用户请求的前端虚拟节点。frontend是在HAProxy1.3版本之后才引入的一个组件，同时引入的还有backend组件。frontend可以根据ACL规则直接指定要使用的后端backend

4、backend部分：此部分用于设置集群后端服务器集群的配置，也就是用来添加一组真实服务器，以处理前端用户的请求，添加的真实服务器类似于LVS中的real server节点。

5、listen部分：此部分是frontend和backend部分的结合体。在HAProxy1.3版本之前，HAProxy的所有配置选项都在这个部分中设置。

Step2：在Master上安装keepalived

1、下载keepalived最新版

# wget http://www.keepalived.org/software/keepalived-1.2.20.tar.gz

2、安装keepalived

# yum install pcre-devel openssl-devel popt-devel libnl-devel -y

# yum install libnfnetlink libnfnetlink-devel -y

# tar zxf keepalived-1.2.20.tar.gz

# cd keepalived-1.2.20

# ./configure --prefix=/usr/local/keepalived --sysconf=/etc --with-kernel-dir=/usr/src/kernels/2.6.32-573.el6.x86_64

# make && make install

# ln -s /usr/local/keepalived/sbin/keepalived /usr/sbin/

3、启动keepalived，设置开启启动

[root@master haproxy]# service keepalived start
[root@master haproxy]# chkconfig --add keepalived
[root@master haproxy]# chkconfig keepalived on
[root@master haproxy]# chkconfig --list keepalived
keepalived     	0:off	1:off	2:on	3:on	4:on	5:on	6:off

Step3：在Backup上安装haproxy和keepalived

[root@backup ~]# ls /usr/local/haproxy/

conf doc sbin share

[root@backup ~]# ls /usr/local/keepalived/

bin sbin share

[root@backup ~]# ls /etc/keepalived/

keepalived.conf samples

[root@backup ~]# service keepalived start ;启动keepalived

Step4：配置HAProxy

global

log 127.0.0.1 local0 info ;日志级别（err/warning/info/debug）

maxconn 4096 ;每个haproxy进程可接受的最大并发连接数（等于ulimit -n）

uid nobody ;运行haproxy进程的用户

gid nobody ;运行haproxy进程的组

daemon ;设置haproxy启动时进入后台运行

nbproc 1 ;设置haproxy启动时可创建的进程数，默认为1，应该设置为小于CPU核数

pidfile /usr/local/haproxy/logs/haproxy.pid ;HAProxy进程pid文件

defaults

mode http ;设置haproxy默认的运行模式（tcp、http、health）

retries 3 ;设置连接后端服务器的失败重试次数

maxconn 20000 ;设置开启haproxy时允许的最大并发连接总数，该数值可以也在运行时（-n）指定

timeout connect 10s ;设置成功连接后端服务器的最长等待时间

timeout client 30s ;客户端发送数据时的最长等待时间

timeout server 30s ;服务器端回应客户端数据发送的最长等待时间

timeout check 2s ;对后端服务器的检测超时时间

listen admin_stats ;HAProxy监测页面的配置

bind 0.0.0.0:19088 ;定义监听的IP地址和端口

mode http

log 127.0.0.1 local0 err

stats refresh 30s

stats uri /haproxy-status

stats realm welcome login\ Haproxy

stats auth admin:123456abc

stats hide-version

stats admin if TRUE

frontend www ;定义域名相关的配置

bind *:80

mode http

option httplog

option forwardfor

log global

acl host_www hdr_reg(host) -i ^(www.huangming.org|huangming.org) ;定义ALC规则

acl host_web1 hdr_dom(host) -i web1.huangming.org

acl host_web2 hdr_beg(host) -i web2.

acl host_localhost hdr_dom(host) -i www.localhost.com

#ACL规则定义的方式有hdr_reg(host)、hdr_dom(host)、hdr_beg(host)、url_sub、url_dir、path_beg、path_end等，-i表示不匹配大小写

use_backend server_www if host_www

use_backend server_web1 if host_web1

use_backend server_web2 if host_web2

use_backend server_localhost if host_localhost

default_backend server_default

backend server_www ;后端真实服务器组

mode http

option redispatch

option abortonclose

balance source

cookie SERVERID

option httpchk GET /forum.php

server www1 192.168.1.231:80 cookie www1 weight 5 check inter 2000 rise 2 fall 3

server www2 192.168.1.232:80 cookie www2 weight 5 check inter 2000 rise 2 fall 3

backend server_web1 ;后端真实服务器组

mode http

option redispatch

option abortonclose

balance source

cookie SERVERID

option httpchk GET /index.jsp

server web1 192.168.1.231:8080 cookie web1 weight 7 check inter 2000 rise 2 fall 3

backend server_web2 ;后端真实服务器组

mode http

option redispatch

option abortonclose

balance source

cookie SERVERID

option httpchk GET /index.jsp

server web2 192.168.1.232:8080 cookie web2 weight 7 check inter 2000 rise 2 fall 3

backend server_localhost ;后端真实服务器组

mode http

option redispatch

option abortonclose

balance roundrobin

cookie SERVERID

option httpchk GET /index.html

server localhost 192.168.1.211:80 cookie server_id weight 3 check inter 2000 rise 2 fall 3

backend server_default ;默认连接的服务器组

mode http

option redispatch

option abortonclose

balance source

cookie SERVERID

option httpchk HEAD /forum.php

server default1 192.168.1.231:80 cookie default1 weight 2 check inter 2000 rise 2 fall 3

server default2 192.168.1.232:80 cookie default2 weight 2 check inter 2000 rise 2 fall 3

Step5：配置Keepalved

global_defs {

notification_email {

mail@huangming.org

}

notification_email_from keepalived@localhost

smtp_server 127.0.0.1

smtp_connect_timeout 30

router_id HAProxy_DEVEL

}

vrrp_script check_haproxy {

script "killall -0 haproxy"

interval 2

weight 30

}

vrrp_instance HAProxy_HA {

state BACKUP ;主备均设置为BACKUP

interface eth0

virtual_router_id 80

priority 100 ;备上设置90

advert_int 2

nopreempt

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

192.168.1.10/24 dev eth0

}

track_script {

check_haproxy

}

notify_master "/etc/keepalived/master.sh" ;切换为主时执行的脚本

notify_backup "/etc/keepalived/backup.sh" ;切换为从时执行的脚本

notify_fault "/etc/keepalived/fault.sh" ;切换为fault时执行的脚本

}

Step6：在Backup上配置HAProxy和Keepalved

1、将Master上配置好的haproxy.cfg、keepalived.conf发送到Backup上对应的路径下，并将priority改为90

[root@master haproxy]# rsync -av conf/haproxy.cfg 192.168.1.34:/usr/local/haproxy/conf/
[root@master keepalived]# rsync -av keepalived.conf 192.168.1.34:/etc/keepalived/

Step7：启动HAProxy

1、默认启动

[root@master ~]# /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/conf/haproxy.cfg

2、查看haproxy监听的端口

[root@master ~]# netstat -ntlp |grep haproxy

tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 67498/haproxy

tcp 0 0 0.0.0.0:19088 0.0.0.0:* LISTEN 67498/haproxy

3、指定并发连接数启动HAProxy

[root@master ~]# /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/conf/haproxy.cfg -n 50000

4、登陆HAProxy监测页面

Step8：启动Keepalved

[root@master ~]# service keepalived restart

Stopping keepalived: [ OK ]

Starting keepalived: [ OK ]

[root@backup ~]# service keepalived restart

Stopping keepalived: [ OK ]

Starting keepalived: [ OK ]

1、在Master上查看VIP

[root@master ~]# ip a

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 00:0c:29:bd:50:ec brd ff:ff:ff:ff:ff:ff

inet 192.168.1.33/24 brd 192.168.1.255 scope global eth0

inet 192.168.1.10/24 scope global secondary eth0

inet6 fe80::20c:29ff:febd:50ec/64 scope link

valid_lft forever preferred_lft forever

2、测试VIP是否正常提供服务

3、测试keepalived是否实现故障转移功能

1、在Master上停止keepalived服务

[root@master ~]# service keepalived stop

Stopping keepalived: [ OK ]

2、在backup上查看是否接管VIP

[root@backup ~]# ip a

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 00:0c:29:f7:ad:3d brd ff:ff:ff:ff:ff:ff

inet 192.168.1.34/24 brd 192.168.1.255 scope global eth0

inet 192.168.1.10/24 scope global secondary eth0

inet6 fe80::20c:29ff:fef7:ad3d/64 scope link

valid_lft forever preferred_lft forever

Step9：测试通过域名访问HAProxy，测试是否实现转发和负载功能

1、通过VIP对全部域名的解析，并测试访问

http://www.huangming.org

http://web1.huangming.org

http://web2.huangming.org

http://www.localhost.com

默认转发的后端web服务器

Step10：HAProxy的日志功能配置

1、创建haproxy.conf文件

[root@hxm ~]# vim /etc/rsyslog.d/haproxy.conf

$ModLoad imudp

$UDPServerRun 514

local3.* /usr/local/haproxy/logs/haproxy.log

local0.* /usr/local/haproxy/logs/haproxy.log

2、修改/etc/sysconfig/rsyslog

[root@hxm ~]# vim /etc/sysconfig/rsyslog

SYSLOGD_OPTIONS="-c 2 -r -m 0" ;-r表示接收远程日志

3、重启rsyslog服务

[root@hxm ~]# service rsyslog restart

# cat /usr/local/haproxy/logs/haproxy.log

Step11：HAProxy启动常用参数选项

-v: 显示版本

-d: 以debug模式运行

-db: 表示禁用后台启动模式

-D: 表示以后台的模式启动

-q: 表示安静模式，程序运行不输出任何信息

-c: 对HAProxy配置文件进行语法检查

-n: 设置最大并发连接数

-m: 限制可用内存大小，单位MB

-N: 设置默认连接数

-p: 设置HAProxy运行的PID文件

-de: 表示不使用epoll模型

-ds: 不使用speculative epoll

-dp: 不使用poll模型

-sf: 程序启动后向PID文件的进程发送FINISH信号

-st: 程序启动后向PID文件的进程发送TERMINATE信号，用于重启HAProxy

微信关注我们

原文链接：https://blog.51cto.com/7424593/1764640

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Nginx/tengine做cache时缓存机制—存不存、存多久、用不用方法论

Nginx/tengine(后面名称只写nginx了)单纯做cache性能比不过ats，特别是在磁盘处理方面，不过论综合能力nginx就是大拿了，他集web服务器、负载均衡、cache三种能力于一身，可以说是非常综合性的选手。比如说一个中型网站的场景选型，前端是负载，后端托着一堆apache服务器，现在该到前端负载选型的了，虽然lvs和ha单纯从负载的性能要比nginx好一些，但我还是会选nginx，因为nginx在做负载的同时，可以将热点的静态内容cache一遍，做一次加速，无形间减轻了后端web服务器的一些压力，提高了用户体验，一箭双雕。Nginx做cache配置是很灵活的，里面有各种缓存指令，起初接触会摸不到北，我用了也有一段时间了，现在总结一下nginx做cache时我认为的三大症结——存不存、存多久、用不用？ nginx的资源是否缓存是由客户端、源站与nginx的缓存配置共同决定，nginx如果没有缓存策略配置，默认按照request请求头、header响应头信息走标准的http缓存判断机制（看cache-control、expires、cookie这些属性），仅当一个资...

2016-04-14

833

Haproxy+keepalived+apache 一、拓扑图：二、编译安装haproxy（两台机器一样安装）解压：tar zxvf haproxy-1.6.4.tar.gz 编译：注意：下边的等号前边的参数必须大写 cd haproxy-1.6.4 make TARGET=linux26 ARCH=x86_64 PREFIX=/usr/local/haproxy make install PREFIX=/usr/local/haproxy 安装后，创建配置文件和启动文件 mkdir -p /usr/local/haproxy/etc/haproxy cp examples/acl-content-sw.cfg/usr/local/haproxy/etc/haproxy/haproxy.cfg cp examples/haproxy.init /etc/init.d/haproxy chmod +x /etc/init.d/haproxy 修改启动文件： vi /etc/init.d/haproxy 修改BIN、CFG路径 BIN=/usr/local/haproxy/sbin/$...

2016-04-17

734

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。