您现在的位置是:首页 > 文章详情

centos6.9负载均衡方案完整配置(lvs+keepalived+pxc+nfs+业务系统)

日期:2019-01-26点击:377

前期准备:

NFS服务器:计算机名nfsserver,IP地址192.168.1.103,用于存放业务系统的数据。 node1:计算机名PXC01,IP地址192.168.1.105,安装pxc系统和业务系统。 node2:计算机名PXC02,IP地址192.168.1.106,安装pxc系统和业务系统。 node3:计算机名PXC03,IP地址192.168.1.107,安装pxc系统和业务系统。 lvs服务器:计算机名lvsserver,IP地址192.168.1.121,vip为192.168.1.100,安装lvs用于负载均衡。 操作系统均为:Centos 6.9 64位 备注1:第五章节为两台lvs服务器使用keepalived做高可用。 备注2:本方案相关工具原理知识,请网上了解。


方案架构图:

图片.png




一、安装业务系统、配置mysql负载均衡(PXC方案)

----------------------------------前言--------------------------------- 需实现以下目标: 1、实现多台mysql节点数据一模一样 2、任何一台mysql节点挂了,不影响使用 3、每个节点同时提供服务和读写 4、要考虑到以后的扩展性,比如增加节点方便 5、在复杂情况下全自动化,不需要手工干预 考虑和尝试过很多方案,最终选择PXC方案。其它方案不理想的原因如下: (1)主从复制方案:此方案满足不了需求,因为如果对从节点写入东西,不会同步到主服务器。 (2)主主复制方案:不适合生产环境,而且增加第三个节点很麻烦。 (3)基于主从复制扩展方案(MMM、MHA):此方案满足不了需求,因为读服务器虽然实现了负载均衡,但是写服务器只有一台提供服务。 (4)将mysql存在共享存储、DRBD中:不可行,节点不能同时提供服务,属于HA级别。 (5)Mysql Cluster集群:某种意义上来说只支持"NDB数据引擎"(分片要改成NDB,不分片不需要改),而且不支持外键、占用磁盘和内存大。重启的时候数据load到内存要很久。部署和管理起来复杂。 (6)Mysql Fabric集群:主要用两个功能,一个是mysql HA,另外一个是分片(即比如一个上TB的表,对其进行分片,然后每台服务器上存储一部分),不适用于我需要的环境。 ----------------------------------前言---------------------------------
1、环境准备(node1、node2、node3) node1 192.168.1.105 PXC01 centos 6.9 mini node2 192.168.1.106 PXC02 centos 6.9 mini node3 192.168.1.107 PXC03 centos 6.9 mini 2、关闭防火墙或selinux(node1、node2、node3) [root@localhost ~]# /etc/init.d/iptables stop [root@localhost ~]# chkconfig iptables off [root@localhost ~]# setenforce 0 [root@localhost ~]# cat /etc/sysconfig/selinux # This file controls the state of SELinux on the system. # SELINUX= can take one of these three values: #       enforcing - SELinux security policy is enforced. #       permissive - SELinux prints warnings instead of enforcing. #       disabled - SELinux is fully disabled. SELINUX=disabled # SELINUXTYPE= type of policy in use. Possible values are: #       targeted - Only targeted network daemons are protected. #       strict - Full SELinux protection. SELINUXTYPE=targeted 3、安装业务系统,并升级到最新版本(node1、node2、node3) 4、把业务系统所有表都设置成主键(node1) 查没主键的表的命令是: select t1.table_schema,t1.table_name from information_schema.tables t1    left outer join   information_schema.TABLE_CONSTRAINTS t2      on t1.table_schema = t2.TABLE_SCHEMA  and t1.table_name = t2.TABLE_NAME  and t2.CONSTRAINT_NAME in   ('PRIMARY')    where t2.table_name is null and t1.TABLE_SCHEMA not in ('information_schema','performance_schema','test','mysql', 'sys'); 查有主键的表的命令是: select t1.table_schema,t1.table_name from information_schema.tables t1    left outer join   information_schema.TABLE_CONSTRAINTS t2      on t1.table_schema = t2.TABLE_SCHEMA  and t1.table_name = t2.TABLE_NAME  and t2.CONSTRAINT_NAME in   ('PRIMARY')    where t2.table_name is not null and t1.TABLE_SCHEMA not in ('information_schema','performance_schema','test','mysql', 'sys'); 按照下面的模版设置主键(node1) ALTER TABLE `表名` ADD `id` int(11) NOT NULL auto_increment FIRST, ADD primary key(id); 5、把业务系统非innodb引擎的表修改成innodb引擎表(node1) 查看哪些表用了MyISAM引擎: [root@PXC01 ~]# mysql -u oa -p密码 -e "show table status from oa where Engine='MyISAM';" [root@PXC01 ~]# mysql -u oa -p密码 -e "show table status from oa where Engine='MyISAM';" |awk '{print $1}' |sed 1d>mysqlchange 停止有使用到mysql的其它服务: [root@PXC01 ~]# for i in 服务器名1 服务器名2;do /etc/init.d/$i stop;done 执行更改成innodb引擎的脚本: [root@PXC01 ~]# cat mysqlchange_innodb.sh #! /bin/bash cat mysqlchange | while read LINE do tablename=$(echo $LINE |awk  '{print $1}') echo "现在修改$tablename的引擎为innodb" mysql -u oa -p`密码 | grep -w pass | awk -F"= " '{print $NF}'` oa -e "alter table $tablename engine=innodb;" done 验证: [root@PXC01 ~]# mysql -u oa -p`密码 | grep -w pass | awk -F"= " '{print $NF}'` -e "show table status from oa where Engine='MyISAM';" [root@PXC01 ~]# mysql -u oa -p`密码 | grep -w pass | awk -F"= " '{print $NF}'` -e "show table status from oa where Engine='innoDB';" 6、备份数据库(node1) [root@PXC01 ~]# mysqldump -u oa -p`密码 | grep -w pass | awk -F"= " '{print $NF}'` --databases oa |gzip>20180524.sql.gz [root@PXC01 ~]# ll 总用量 44 -rw-r--r--  1 root root 24423 5月  22 16:55 20180524.sql.gz 7、将业务系统自带的mysql端口改成其它端口并且停止服务,开机不启动服务(node1、node2、node3) 8、yum安装pxc并配置 基础安装(node1、node2、node3) [root@percona1 ~]# yum -y groupinstall Base Compatibility libraries Debugging Tools Dial-up Networking suppport Hardware monitoring utilities Performance Tools Development tools     组件安装(node1、node2、node3) [root@percona1 ~]# yum install http://www.percona.com/downloads/percona-release/redhat/0.1-3/percona-release-0.1-3.noarch.rpm -y [root@percona1 ~]# yum localinstall http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm [root@percona1 ~]# yum install socat libev -y [root@percona1 ~]# yum install Percona-XtraDB-Cluster-55 -y node1配置: [root@PXC01 ~]# vi /etc/my.cnf # 我业务系统需要6033端口 [client] port=6033 # 我业务系统需要6033端口 [mysqld] datadir=/var/lib/mysql user=mysql port=6033 # Path to Galera library wsrep_provider=/usr/lib64/libgalera_smm.so # Cluster connection URL contains the IPs of node#1, node#2 and node#3 wsrep_cluster_address=gcomm://192.168.1.105,192.168.1.106,192.168.1.107 # In order for Galera to work correctly binlog format should be ROW binlog_format=ROW # MyISAM storage engine has only experimental support default_storage_engine=InnoDB # This changes how InnoDB autoincrement locks are managed and is a requirement for Galera innodb_autoinc_lock_mode=2 # Node #1 address wsrep_node_address=192.168.1.105 # SST method wsrep_sst_method=xtrabackup-v2 # Cluster name wsrep_cluster_name=my_centos_cluster # Authentication for SST method wsrep_sst_auth="sstuser:s3cret" node1启动mysql命令如下: [root@PXC01 mysql]# /etc/init.d/mysql bootstrap-pxc Bootstrapping PXC (Percona XtraDB Cluster) ERROR! MySQL (Percona XtraDB Cluster) is not running, but lock file (/var/lock/subsys/mysql) exists Starting MySQL (Percona XtraDB Cluster)... SUCCESS! 如果是centos7,则启动命令如下: [root@percona1 ~]# systemctl start mysql@bootstrap.service 若是重启的话,就先kill,然后删除pid文件后再执行上面的启动命令。 node1查看服务: [root@PXC01 ~]# /etc/init.d/mysql status SUCCESS! MySQL (Percona XtraDB Cluster) running (7712) 将/etc/init.d/mysql bootstrap-pxc加入到rc.local里面。 node1进入mysql控制台: [root@PXC01 ~]# mysql Welcome to the MySQL monitor.  Commands end with ; or \g. Your MySQL connection id is 3 Server version: 5.5.41-37.0-55 Percona XtraDB Cluster (GPL), Release rel37.0, Revision 855, WSREP version 25.12, wsrep_25.12.r4027 Copyright (c) 2009-2014 Percona LLC and/or its affiliates Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved. Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. mysql> show status like 'wsrep%'; +----------------------------+--------------------------------------+ | Variable_name              | Value                                | +----------------------------+--------------------------------------+ | wsrep_local_state_uuid     | 1ab083fc-5c46-11e8-a7b7-76a002f2b5c8 | | wsrep_protocol_version     | 4                                    | | wsrep_last_committed       | 0                                    | | wsrep_replicated           | 0                                    | | wsrep_replicated_bytes     | 0                                    | | wsrep_received             | 2                                    | | wsrep_received_bytes       | 134                                  | | wsrep_local_commits        | 0                                    | | wsrep_local_cert_failures  | 0                                    | | wsrep_local_replays        | 0                                    | | wsrep_local_send_queue     | 0                                    | | wsrep_local_send_queue_avg | 0.000000                             | | wsrep_local_recv_queue     | 0                                    | | wsrep_local_recv_queue_avg | 0.000000                             | | wsrep_flow_control_paused  | 0.000000                             | | wsrep_flow_control_sent    | 0                                    | | wsrep_flow_control_recv    | 0                                    | | wsrep_cert_deps_distance   | 0.000000                             | | wsrep_apply_oooe           | 0.000000                             | | wsrep_apply_oool           | 0.000000                             | | wsrep_apply_window         | 0.000000                             | | wsrep_commit_oooe          | 0.000000                             | | wsrep_commit_oool          | 0.000000                             | | wsrep_commit_window        | 0.000000                             | | wsrep_local_state          | 4                                    | | wsrep_local_state_comment  | Synced                               | | wsrep_cert_index_size      | 0                                    | | wsrep_causal_reads         | 0                                    | | wsrep_incoming_addresses   | 192.168.1.105:3306                   | | wsrep_cluster_conf_id      | 1                                    | | wsrep_cluster_size         | 1                                    | | wsrep_cluster_state_uuid   | 1ab083fc-5c46-11e8-a7b7-76a002f2b5c8 | | wsrep_cluster_status       | Primary                              | | wsrep_connected            | ON                                   | | wsrep_local_bf_aborts      | 0                                    | | wsrep_local_index          | 0                                    | | wsrep_provider_name        | Galera                               | | wsrep_provider_vendor      | Codership Oy <info@codership.com>    | | wsrep_provider_version     | 2.12(r318911d)                       | | wsrep_ready                | ON                                   | | wsrep_thread_count         | 2                                    | +----------------------------+--------------------------------------+ 41 rows in set (0.00 sec) node1设置数据库用户名密码 mysql> UPDATE mysql.user SET password=PASSWORD("Passw0rd") where user='root';     node1创建、授权、同步账号 mysql> CREATE USER 'sstuser'@'localhost' IDENTIFIED BY 's3cret'; mysql> GRANT RELOAD, LOCK TABLES, REPLICATION CLIENT ON *.* TO 'sstuser'@'localhost'; mysql> FLUSH PRIVILEGES; node1查看你指定集群的IP地址 mysql> SHOW VARIABLES LIKE 'wsrep_cluster_address'; +-----------------------+---------------------------------------------------+ | Variable_name         | Value                                             | +-----------------------+---------------------------------------------------+ | wsrep_cluster_address | gcomm://192.168.1.105,192.168.1.106,192.168.1.107 | +-----------------------+---------------------------------------------------+ 1 row in set (0.00 sec) node1此参数查看是否开启 mysql> show status like 'wsrep_ready'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | wsrep_ready   | ON    | +---------------+-------+ 1 row in set (0.00 sec) node1查看集群的成员数 mysql> show status like 'wsrep_cluster_size'; +--------------------+-------+ | Variable_name      | Value | +--------------------+-------+ | wsrep_cluster_size | 1     | +--------------------+-------+ 1 row in set (0.00 sec) node1查看wsrep的相关参数 mysql> show status like 'wsrep%'; +----------------------------+--------------------------------------+ | Variable_name              | Value                                | +----------------------------+--------------------------------------+ | wsrep_local_state_uuid     | 1ab083fc-5c46-11e8-a7b7-76a002f2b5c8 | | wsrep_protocol_version     | 4                                    | | wsrep_last_committed       | 2                                    | | wsrep_replicated           | 2                                    | | wsrep_replicated_bytes     | 405                                  | | wsrep_received             | 2                                    | | wsrep_received_bytes       | 134                                  | | wsrep_local_commits        | 0                                    | | wsrep_local_cert_failures  | 0                                    | | wsrep_local_replays        | 0                                    | | wsrep_local_send_queue     | 0                                    | | wsrep_local_send_queue_avg | 0.000000                             | | wsrep_local_recv_queue     | 0                                    | | wsrep_local_recv_queue_avg | 0.000000                             | | wsrep_flow_control_paused  | 0.000000                             | | wsrep_flow_control_sent    | 0                                    | | wsrep_flow_control_recv    | 0                                    | | wsrep_cert_deps_distance   | 1.000000                             | | wsrep_apply_oooe           | 0.000000                             | | wsrep_apply_oool           | 0.000000                             | | wsrep_apply_window         | 0.000000                             | | wsrep_commit_oooe          | 0.000000                             | | wsrep_commit_oool          | 0.000000                             | | wsrep_commit_window        | 0.000000                             | | wsrep_local_state          | 4                                    | | wsrep_local_state_comment  | Synced                               | | wsrep_cert_index_size      | 2                                    | | wsrep_causal_reads         | 0                                    | | wsrep_incoming_addresses   | 192.168.1.105:3306                   | | wsrep_cluster_conf_id      | 1                                    | | wsrep_cluster_size         | 1                                    | | wsrep_cluster_state_uuid   | 1ab083fc-5c46-11e8-a7b7-76a002f2b5c8 | | wsrep_cluster_status       | Primary                              | | wsrep_connected            | ON                                   | | wsrep_local_bf_aborts      | 0                                    | | wsrep_local_index          | 0                                    | | wsrep_provider_name        | Galera                               | | wsrep_provider_vendor      | Codership Oy <info@codership.com>    | | wsrep_provider_version     | 2.12(r318911d)                       | | wsrep_ready                | ON                                   | | wsrep_thread_count         | 2                                    | +----------------------------+--------------------------------------+ 41 rows in set (0.00 sec) node2配置: [root@PXC02 ~]# vi /etc/my.cnf 我业务系统需要6033端口 [client] port=6033 我业务系统需要6033端口 [mysqld] datadir=/var/lib/mysql user=mysql port=6033 # Path to Galera library wsrep_provider=/usr/lib64/libgalera_smm.so # Cluster connection URL contains the IPs of node#1, node#2 and node#3 wsrep_cluster_address=gcomm://192.168.1.105,192.168.1.106,192.168.1.107 # In order for Galera to work correctly binlog format should be ROW binlog_format=ROW # MyISAM storage engine has only experimental support default_storage_engine=InnoDB # This changes how InnoDB autoincrement locks are managed and is a requirement for Galera innodb_autoinc_lock_mode=2 # Node #1 address wsrep_node_address=192.168.1.106 # SST method wsrep_sst_method=xtrabackup-v2 # Cluster name wsrep_cluster_name=my_centos_cluster # Authentication for SST method wsrep_sst_auth="sstuser:s3cret" node2启动服务: [root@PXC02 ~]# /etc/init.d/mysql start ERROR! MySQL (Percona XtraDB Cluster) is not running, but lock file (/var/lock/subsys/mysql) exists Starting MySQL (Percona XtraDB Cluster).....State transfer in progress, setting sleep higher ... SUCCESS! node2查看服务: [root@PXC02 ~]# /etc/init.d/mysql status SUCCESS! MySQL (Percona XtraDB Cluster) running (9071) node3配置: [root@PXC03 ~]# vi /etc/my.cnf 我业务系统需要6033端口 [client] port=6033 我业务系统需要6033端口 [mysqld] datadir=/var/lib/mysql user=mysql port=6033 # Path to Galera library wsrep_provider=/usr/lib64/libgalera_smm.so # Cluster connection URL contains the IPs of node#1, node#2 and node#3 wsrep_cluster_address=gcomm://192.168.1.105,192.168.1.106,192.168.1.107 # In order for Galera to work correctly binlog format should be ROW binlog_format=ROW # MyISAM storage engine has only experimental support default_storage_engine=InnoDB # This changes how InnoDB autoincrement locks are managed and is a requirement for Galera innodb_autoinc_lock_mode=2 # Node #1 address wsrep_node_address=192.168.1.107 # SST method wsrep_sst_method=xtrabackup-v2 # Cluster name wsrep_cluster_name=my_centos_cluster # Authentication for SST method wsrep_sst_auth="sstuser:s3cret" node3启动服务: [root@PXC03 ~]# /etc/init.d/mysql start ERROR! MySQL (Percona XtraDB Cluster) is not running, but lock file (/var/lock/subsys/mysql) exists Starting MySQL (Percona XtraDB Cluster)......State transfer in progress, setting sleep higher .... SUCCESS! node3查看服务: [root@PXC03 ~]# /etc/init.d/mysql status SUCCESS! MySQL (Percona XtraDB Cluster) running (9071) ..................................注意................................ -> 除了名义上的master之外,其它的node节点只需要启动mysql即可。 -> 节点的数据库的登陆和master节点的用户名密码一致,自动同步。所以其它的节点数据库用户名密码无须重新设置。    也就是说,如上设置,只需要在名义上的master节点(如上的node1)上设置权限,其它的节点配置好/etc/my.cnf后,只需要启动mysql就行,权限会自动同步过来。    如上的node2,node3节点,登陆mysql的权限是和node1一样的(即是用node1设置的权限登陆) ..................................................................... 如果上面的node2、node3启动mysql失败,比如/var/lib/mysql下的err日志报错如下: [ERROR] WSREP: gcs/src/gcs_group.cpp:long int gcs_group_handle_join_msg(gcs_ 解决办法: -> 查看节点上的iptables防火墙是否关闭;检查到名义上的master节点上的4567端口是否连通(telnet) -> selinux是否关闭 -> 删除名义上的master节点上的grastate.dat后,重启名义上的master节点的数据库;当然当前节点上的grastate.dat也删除并重启数据库 .....................................................................     9、最后进行测试 在任意一个node上,进行添加,删除,修改操作,都会同步到其他的服务器,是现在主主的模式,当然前提是表引擎必须是innodb,因为galera目前只支持innodb的表。 mysql> show status like 'wsrep%'; +----------------------------+----------------------------------------------------------+ | Variable_name              | Value                                                    | +----------------------------+----------------------------------------------------------+ | wsrep_local_state_uuid     | 1ab083fc-5c46-11e8-a7b7-76a002f2b5c8                     | | wsrep_protocol_version     | 4                                                        | | wsrep_last_committed       | 2                                                        | | wsrep_replicated           | 2                                                        | | wsrep_replicated_bytes     | 405                                                      | | wsrep_received             | 10                                                       | | wsrep_received_bytes       | 728                                                      | | wsrep_local_commits        | 0                                                        | | wsrep_local_cert_failures  | 0                                                        | | wsrep_local_replays        | 0                                                        | | wsrep_local_send_queue     | 0                                                        | | wsrep_local_send_queue_avg | 0.000000                                                 | | wsrep_local_recv_queue     | 0                                                        | | wsrep_local_recv_queue_avg | 0.000000                                                 | | wsrep_flow_control_paused  | 0.000000                                                 | | wsrep_flow_control_sent    | 0                                                        | | wsrep_flow_control_recv    | 0                                                        | | wsrep_cert_deps_distance   | 0.000000                                                 | | wsrep_apply_oooe           | 0.000000                                                 | | wsrep_apply_oool           | 0.000000                                                 | | wsrep_apply_window         | 0.000000                                                 | | wsrep_commit_oooe          | 0.000000                                                 | | wsrep_commit_oool          | 0.000000                                                 | | wsrep_commit_window        | 0.000000                                                 | | wsrep_local_state          | 4                                                        | | wsrep_local_state_comment  | Synced                                                   | | wsrep_cert_index_size      | 0                                                        | | wsrep_causal_reads         | 0                                                        | | wsrep_incoming_addresses   | 192.168.1.105:6033,192.168.1.106:6033,192.168.1.107:6033 | | wsrep_cluster_conf_id      | 3                                                        | | wsrep_cluster_size         | 3                                                        | | wsrep_cluster_state_uuid   | 1ab083fc-5c46-11e8-a7b7-76a002f2b5c8                     | | wsrep_cluster_status       | Primary                                                  | | wsrep_connected            | ON                                                       | | wsrep_local_bf_aborts      | 0                                                        | | wsrep_local_index          | 0                                                        | | wsrep_provider_name        | Galera                                                   | | wsrep_provider_vendor      | Codership Oy <info@codership.com>                        | | wsrep_provider_version     | 2.12(r318911d)                                           | | wsrep_ready                | ON                                                       | | wsrep_thread_count         | 2                                                        | +----------------------------+----------------------------------------------------------+ 41 rows in set (0.00 sec)            在node3上创建一个库 mysql> create database wangshibo; Query OK, 1 row affected (0.02 sec) 然后在node1和node2上查看,自动同步过来 mysql> show databases; +--------------------+ | Database           | +--------------------+ | information_schema | | mysql              | | performance_schema | | test               | | wangshibo          | +--------------------+ 5 rows in set (0.00 sec) 在node1上的wangshibo库下创建表,插入数据 mysql> use wangshibo; Database changed mysql> create table test(id int(5)); Query OK, 0 rows affected (0.11 sec) mysql> insert into test values(1); Query OK, 1 row affected (0.01 sec) mysql> insert into test values(2); Query OK, 1 row affected (0.02 sec) 同样,在其它的节点上查看,也是能自动同步过来 mysql> select * from wangshibo.test; +------+ | id   | +------+ |    1 | |    2 | +------+ 2 rows in set (0.00 sec) 10、node1还原数据库(node1) mysql> create database oa; gunzip 20180524.sql.gz /usr/bin/mysql -uroot -p密码 oa <20180524.sql for i in 服务器名1 服务器名2;do /etc/init.d/$i start;done 11、然后验证node2和node3是否从node1同步了数据库和所有表



二、NFS服务器配置

----------------------------------前言--------------------------------- 这步其实就是就是存储数据。 要实现三台节点服务器都使用一样的数据,方法一般有: (1)NFS:所有数据存放在一台NFS服务器上,因为NFS可以将锁放在nfs服务器端,这样就不会造成同时读写文件、损坏文件。 (2)支持同时读写一个文件的存储设备:设备很昂贵。 (3)分布式文件系统:比如Fasthds、HDFS,没有深入研究,可能需要更改业务程序代码。 ----------------------------------前言---------------------------------
1、安装nfs相关包 [root@nfsserver ~]# yum -y install nfs-utils rpcbind 2、建立共享目录,并且建立用户,并赋予目录用户和组权限(什么用户和组取决于业务系统要求)。 [root@nfsserver ~]# groupadd -g 9005 oa [root@nfsserver ~]# useradd -u 9005 -g 9005 oa -d /home/oa -s /sbin/nologin [root@nfsserver ~]# mkdir /data [root@nfsserver ~]# chown -hR oa.oa /data [root@nfsserver ~]# chmod -R 777 /data  (或755) 3、建立exports文件,rw表示读写。 [root@nfsserver /]# cat /etc/exports /data 192.168.1.105(rw,sync,all_squash,anonuid=9005,anongid=9005) /data 192.168.1.106(rw,sync,all_squash,anonuid=9005,anongid=9005) /data 192.168.1.107(rw,sync,all_squash,anonuid=9005,anongid=9005) 4、重启服务和设置服务开机启动,一定要先重启rpcbind,然后才能重启nfs。 [root@nfsserver /]# /etc/init.d/rpcbind start 正在启动 rpcbind:                                         [确定] [root@nfsserver /]# rpcinfo -p localhost [root@nfsserver /]# netstat -lnt [root@nfsserver /]# chkconfig rpcbind on [root@nfsserver /]# chkconfig --list | grep rpcbind [root@nfsserver /]# /etc/init.d/nfs start 启动 NFS 服务:                                            [确定] 启动 NFS mountd:                                          [确定] 启动 NFS 守护进程:                                        [确定] 正在启动 RPC idmapd:                                      [确定] [root@nfsserver /]# rpcinfo -p localhost 会发现多出来好多端口 [root@nfsserver /]# chkconfig nfs on [root@nfsserver /]# chkconfig --list | grep nfs 5、关闭防火墙和selinux。 [root@nfsserver /]# service iptables stop iptables:将链设置为政策 ACCEPT:filter                    [确定] iptables:清除防火墙规则:                                 [确定] iptables:正在卸载模块:                                   [确定] [root@nfsserver /]# chkconfig iptables off [root@nfsserver /]# selinux关闭方法略。



三、NFS客户端配置(node1、node2、node3)

1、看下NFS服务器的共享(node1、node2、node3) [root@oaserver1 ~]# yum -y install nfs-utils rpcbind(showmount命令要安装这个) [root@oaserver1 /]# /etc/init.d/rpcbind start [root@oaserver1 /]# rpcinfo -p localhost [root@oaserver1 /]# netstat -lnt [root@oaserver1 /]# chkconfig rpcbind on [root@oaserver1 /]# chkconfig --list | grep rpcbind [root@PXC01 ~]# showmount -e 192.168.1.103 Export list for 192.168.1.103: /data    192.168.1.107,192.168.1.106,192.168.1.105 2、新建挂载目录,并且挂载(node1、node2、node3) [root@oaserver1 ~]# mkdir /data [root@oaserver1 ~]# mount -t nfs 192.168.1.103:/data /data [root@oaserver1 ~]# df -h Filesystem            Size  Used Avail Use% Mounted on /dev/mapper/VolGroup-lv_root                        18G  3.6G   13G  22% / tmpfs                 491M  4.0K  491M   1% /dev/shm /dev/sda1             477M   28M  425M   7% /boot 192.168.1.103:/data                        14G  2.1G   11G  16% /data [root@oaserver1 ~]# cd / [root@oaserver1 /]# ls -lhd data* drwxrwxrwx 2 oa        oa        4.0K 5月  24 2018 data 3、设置开机自动挂载(node1、node2、node3) [root@oaserver1 data]# vi /etc/fstab 192.168.1.103:/data /data               nfs     defaults        0 0 4、移动数据目录到/data目录下 步骤主要是停止相关服务,然后移动数据到/data目录,然后做个软连接。 5、重启下服务器后验证



四、负载均衡lvs配置(单台负载均衡服务器)

1、DS配置 安装所需的依赖包 yum install -y wget make kernel-devel gcc gcc-c++ libnl* libpopt* popt-static 创建一个软链接,防止后面编译安装ipvsadm时找不到系统内核 ln -s /usr/src/kernels/2.6.32-696.30.1.el6.x86_64/ /usr/src/linux 下载安装ipvsadm wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz tar zxvf ipvsadm-1.26.tar.gz cd ipvsadm-1.26 make && make install ipvsadm 创建文件 /etc/init.d/lvsdr, 并赋予执行权限: #!/bin/sh VIP=192.168.1.100 RIP1=192.168.1.105 RIP2=192.168.1.106 RIP3=192.168.1.107 . /etc/rc.d/init.d/functions case "$1" in start)   echo " start LVS  of DirectorServer"   # set the Virtual  IP Address    ifconfig eth0:0 $VIP/24    #/sbin/route add -host $VIP dev eth0:0    #Clear IPVS table    /sbin/ipvsadm -c   #set LVS   /sbin/ipvsadm -A -t $VIP:80 -s sh   /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g   /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g   /sbin/ipvsadm -a -t $VIP:80 -r $RIP3:80 -g   /sbin/ipvsadm -A -t $VIP:25 -s sh   /sbin/ipvsadm -a -t $VIP:25 -r $RIP1:25 -g   /sbin/ipvsadm -a -t $VIP:25 -r $RIP2:25 -g   /sbin/ipvsadm -a -t $VIP:25 -r $RIP3:25 -g   /sbin/ipvsadm -A -t $VIP:110 -s sh   /sbin/ipvsadm -a -t $VIP:110 -r $RIP1:110 -g   /sbin/ipvsadm -a -t $VIP:110 -r $RIP2:110 -g   /sbin/ipvsadm -a -t $VIP:110 -r $RIP3:110 -g   /sbin/ipvsadm -A -t $VIP:143 -s sh   /sbin/ipvsadm -a -t $VIP:143 -r $RIP1:143 -g   /sbin/ipvsadm -a -t $VIP:143 -r $RIP2:143 -g   /sbin/ipvsadm -a -t $VIP:143 -r $RIP3:143 -g   #/sbin/ipvsadm -a -t $VIP:80 -r $RIP3:80 –g   #Run LVS   /sbin/ipvsadm   #end ;; stop) echo "close LVS Directorserver" /sbin/ipvsadm -c ;; *) echo "Usage: $0 {start|stop}" exit 1 esac [root@lvsserver ~]# chmod +x /etc/init.d/lvsdr [root@lvsserver ~]# /etc/init.d/lvsdr start  启动 [root@lvsserver ~]# vi /etc/rc.local 加入到开机自启动 /etc/init.d/lvsdr start [root@localhost ~]# ifconfig eth0      Link encap:Ethernet  HWaddr 00:50:56:8D:19:13             inet addr:192.168.1.121  Bcast:192.168.1.255  Mask:255.255.255.0           inet6 addr: fe80::250:56ff:fe8d:1913/64 Scope:Link           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1           RX packets:10420500 errors:0 dropped:0 overruns:0 frame:0           TX packets:421628 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:1046805128 (998.3 MiB)  TX bytes:101152496 (96.4 MiB) eth0:0    Link encap:Ethernet  HWaddr 00:50:56:8D:19:13             inet addr:192.168.1.100  Bcast:192.168.1.255  Mask:255.255.255.0           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1 lo        Link encap:Local Loopback             inet addr:127.0.0.1  Mask:255.0.0.0           inet6 addr: ::1/128 Scope:Host           UP LOOPBACK RUNNING  MTU:65536  Metric:1           RX packets:164717347 errors:0 dropped:0 overruns:0 frame:0           TX packets:164717347 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:0           RX bytes:28297589130 (26.3 GiB)  TX bytes:28297589130 (26.3 GiB)            2、RS配置(node1、node2、node3) [root@oaserver1 ~]# vi /etc/init.d/realserver #!/bin/sh VIP=192.168.1.100 . /etc/rc.d/init.d/functions case "$1" in start)   echo " start LVS  of RealServer"   echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce   echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce   echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore   echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore   service network restart   ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP   route add -host $VIP dev lo:0   #end ;; stop) echo "close LVS Realserver" service network restart ;; *) echo "Usage: $0 {start|stop}" exit 1 esac [root@oaserver1 ~]# chmod +x /etc/init.d/realserver [root@oaserver1 ~]# /etc/init.d/realserver start [root@oaserver1 ~]# vi /etc/rc.local /etc/init.d/realserver start [root@oaserver1 ~]# ifconfig eth0      Link encap:Ethernet  HWaddr 00:0C:29:DC:B1:39             inet addr:192.168.1.105  Bcast:192.168.1.255  Mask:255.255.255.0           inet6 addr: fe80::20c:29ff:fedc:b139/64 Scope:Link           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1           RX packets:816173 errors:0 dropped:0 overruns:0 frame:0           TX packets:399007 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:534582215 (509.8 MiB)  TX bytes:98167814 (93.6 MiB) lo        Link encap:Local Loopback             inet addr:127.0.0.1  Mask:255.0.0.0           inet6 addr: ::1/128 Scope:Host           UP LOOPBACK RUNNING  MTU:65536  Metric:1           RX packets:43283 errors:0 dropped:0 overruns:0 frame:0           TX packets:43283 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:0           RX bytes:8895319 (8.4 MiB)  TX bytes:8895319 (8.4 MiB) lo:0      Link encap:Local Loopback             inet addr:192.168.1.100  Mask:255.255.255.255           UP LOOPBACK RUNNING  MTU:65536  Metric:1            3、重启服务器测试下,我是将其中一台的logo换掉,然后刷新,如果logo会变就表示成功。可以用ipvsadm名称查看。




五、负载均衡lvs+keepalived配置(两台负载均衡服务器实现高可用)

两台lvs负载均衡服务器用keepalived高可用,另外keepalived能实现健康检查(自动移除有问题RS节点),如果没有此功能,那么有一台oa挂了,lvs依然会转发给它,造成访问故障。

1、环境     Keepalived1 + lvs1(Director1):192.168.1.121     Keepalived2 + lvs2(Director2):192.168.1.122     Real server1:192.168.1.105     Real server1:192.168.1.106     Real server1:192.168.1.107     IP: 192.168.1.100      2、安装所需的依赖包 yum install -y wget make kernel-devel gcc gcc-c++ libnl* libpopt* popt-static 创建一个软链接,防止后面编译安装ipvsadm时找不到系统内核 ln -s /usr/src/kernels/2.6.32-696.30.1.el6.x86_64/ /usr/src/linux 3、Lvs + keepalived的2个节点安装 yum install ipvsadm keepalived -y 也可以编译安装ipvsadm(没试过这个,不建议) wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz tar zxvf ipvsadm-1.26.tar.gz cd ipvsadm-1.26 make && make install ipvsadm 4、Real server节点3台配置脚本(node1、node2、node3): [root@oaserver1 ~]# vi /etc/init.d/realserver #!/bin/sh VIP=192.168.1.100 . /etc/rc.d/init.d/functions case "$1" in start)   echo " start LVS  of RealServer"   echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce   echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce   echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore   echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore   service network restart   ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP   route add -host $VIP dev lo:0   #end ;; stop) echo "close LVS Realserver" service network restart ;; *) echo "Usage: $0 {start|stop}" exit 1 esac [root@oaserver1 ~]# chmod +x /etc/init.d/realserver [root@oaserver1 ~]# /etc/init.d/realserver start [root@oaserver1 ~]# vi /etc/rc.local /etc/init.d/realserver start [root@oaserver1 ~]# ifconfig eth0      Link encap:Ethernet  HWaddr 00:0C:29:07:D5:96             inet addr:192.168.1.105  Bcast:192.168.1.255  Mask:255.255.255.0           inet6 addr: fe80::20c:29ff:fe07:d596/64 Scope:Link           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1           RX packets:1390 errors:0 dropped:0 overruns:0 frame:0           TX packets:1459 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:334419 (326.5 KiB)  TX bytes:537109 (524.5 KiB) lo        Link encap:Local Loopback             inet addr:127.0.0.1  Mask:255.0.0.0           inet6 addr: ::1/128 Scope:Host           UP LOOPBACK RUNNING  MTU:65536  Metric:1           RX packets:2633 errors:0 dropped:0 overruns:0 frame:0           TX packets:2633 errors:0 dropped:0 overruns:0 carrier:0           collisions:0 txqueuelen:0           RX bytes:539131 (526.4 KiB)  TX bytes:539131 (526.4 KiB) lo:0      Link encap:Local Loopback             inet addr:192.168.1.100  Mask:255.255.255.255           UP LOOPBACK RUNNING  MTU:65536  Metric:1                       5、Lvs + keepalived节点配置,好像可以设置如果那台有问题,然后邮件通知。 主节点( MASTER )配置文件 vi /etc/keepalived/keepalived.conf vrrp_instance VI_1 {     state MASTER     interface eth0     virtual_router_id 51     priority 100     advert_int 1     authentication {         auth_type PASS         auth_pass 1111     }     virtual_ipaddress {         192.168.1.100     } } virtual_server 192.168.1.100 80 {     delay_loop 6     lb_algo sh     lb_kind DR     persistence_timeout 0     protocol TCP     real_server 192.168.1.105 80 {         weight 1         TCP_CHECK {             connect_timeout 10             nb_get_retry 3             delay_before_retry 3             connect_port 80         }     }     real_server 192.168.1.106 80 {         weight 1         TCP_CHECK {             connect_timeout 10             nb_get_retry 3             delay_before_retry 3             connect_port 80         }     }     real_server 192.168.1.107 80 {         weight 1         TCP_CHECK {             connect_timeout 10             nb_get_retry 3             delay_before_retry 3             connect_port 80         }     } } virtual_server 192.168.1.100 25 {     delay_loop 6     lb_algo sh     lb_kind DR     persistence_timeout 0     protocol TCP     real_server 192.168.1.105 25 {         weight 1         TCP_CHECK {             connect_timeout 10             nb_get_retry 3             delay_before_retry 3             connect_port 25         }     }     real_server 192.168.1.106 25 {         weight 1         TCP_CHECK {             connect_timeout 10             nb_get_retry 3             delay_before_retry 3             connect_port 25         }     }     real_server 192.168.1.107 25 {         weight 1         TCP_CHECK {             connect_timeout 10             nb_get_retry 3             delay_before_retry 3             connect_port 25         }     } } virtual_server 192.168.1.100 110 {     delay_loop 6     lb_algo sh     lb_kind DR     persistence_timeout 0     protocol TCP     real_server 192.168.1.105 110 {         weight 1         TCP_CHECK {             connect_timeout 10             nb_get_retry 3             delay_before_retry 3             connect_port 110         }     }     real_server 192.168.1.106 110 {         weight 1         TCP_CHECK {             connect_timeout 10             nb_get_retry 3             delay_before_retry 3             connect_port 110         }     }     real_server 192.168.1.107 110 {         weight 1         TCP_CHECK {             connect_timeout 10             nb_get_retry 3             delay_before_retry 3             connect_port 110         }     } } virtual_server 192.168.1.100 143 {     delay_loop 6     lb_algo sh     lb_kind DR     persistence_timeout 0     protocol TCP     real_server 192.168.1.105 143 {         weight 1         TCP_CHECK {             connect_timeout 10             nb_get_retry 3             delay_before_retry 3             connect_port 143         }     }     real_server 192.168.1.106 143 {         weight 1         TCP_CHECK {             connect_timeout 10             nb_get_retry 3             delay_before_retry 3             connect_port 143         }     }     real_server 192.168.1.107 143 {         weight 1         TCP_CHECK {             connect_timeout 10             nb_get_retry 3             delay_before_retry 3             connect_port 143         }     } } 从节点( BACKUP )配置文件 拷贝主节点的配置文件keepalived.conf,然后修改如下内容: state MASTER -> state BACKUP priority 100 -> priority 90 keepalived的2个节点执行如下命令,开启转发功能: # echo 1 > /proc/sys/net/ipv4/ip_forward 6、两节点关闭防火墙 /etc/init.d/iptables stop chkconfig iptables off 7、两节点先后顺序启动keepalive 先主后从分别启动keepalive service keepalived start chkconfig keepalived on 8、测试故障转移



六、维护注意项

1、麻烦开机或维护的时候,务必按照这个开机顺序(间隔2-3分钟左右): (1)、103 NFS服务器 (2)、105 业务服务器 (3)、106、107 业务服务器 (4)、121负载分发服务器 (5)、122负载分发服务器 备注:如果103不先启动,那oa服务器挂载不了存储分区。然后105oa服务器不首先启动,106和107的mysql服务启动不起来。 2、正常关机或重启顺序 (1)121、122负载分发服务器 (2)106、107 业务服务器 (3)105 业务服务器 (4)103 NFS服务器 3、如果3台业务服务器,出现个别正常关机或重启卡在那里很久的,麻烦暂时直接关机就可以。





--------------------------------------------------------------------------------
附:

LVS的调度算法分为静态与动态两类。 1.静态算法(4种):只根据算法进行调度 而不考虑后端服务器的实际连接情况和负载情况     ①.RR:轮叫调度(Round Robin)       调度器通过”轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上,它均等地对待每一台服务器,而不管服务器上实际的连接数和系统负载。     ②.WRR:加权轮叫(Weight RR)       调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。     ③.DH:目标地址散列调度(Destination Hash )       根据请求的目标IP地址,作为散列键(HashKey)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。     ④.SH:源地址 hash(Source Hash)       源地址散列”调度算法根据请求的源IP地址,作为散列键(HashKey)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。      2.动态算法(6种):前端的调度器会根据后端真实服务器的实际连接情况来分配请求     ①.LC:最少链接(Least Connections)       调度器通过”最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能,采用”最小连接”调度算法可以较好地均衡负载。     ②.WLC:加权最少连接(默认采用的就是这种)(Weighted Least Connections)       在集群系统中的服务器性能差异较大的情况下,调度器采用“加权最少链接”调度算法优化负载均衡性能,具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。     ③.SED:最短延迟调度(Shortest Expected Delay )       在WLC基础上改进,Overhead = (ACTIVE+1)*256/加权,不再考虑非活动状态,把当前处于活动状态的数目+1来实现,数目最小的,接受下次请求,+1的目的是为了考虑加权的时候,非活动连接过多缺陷:当权限过大的时候,会倒置空闲服务器一直处于无连接状态。     ④.NQ永不排队/最少队列调度(Never Queue Scheduling NQ)       无需队列。如果有台 realserver的连接数=0就直接分配过去,不需要再进行sed运算,保证不会有一个主机很空间。在SED基础上无论+几,第二次一定给下一个,保证不会有一个主机不会很空闲着,不考虑非活动连接,才用NQ,SED要考虑活动状态连接,对于DNS的UDP不需要考虑非活动连接,而httpd的处于保持状态的服务就需要考虑非活动连接给服务器的压力。     ⑤.LBLC:基于局部性的最少链接(locality-Based Least Connections)       基于局部性的最少链接”调度算法是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器,若该服务器是可用的且没有超载,将请求发送到该服务器;若服务器不存在,或者该服务器超载且有服务器处于一半的工作负载,则用“最少链接”的原则选出一个可用的服务器,将请求发送到该服务器。     ⑥. LBLCR:带复制的基于局部性最少连接(Locality-Based Least Connections with Replication)       带复制的基于局部性最少链接”调度算法也是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务器的映射,而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组,按”最小连接”原则从服务器组中选出一台服务器,若服务器没有超载,将请求发送到该服务器;若服务器超载,则按“最小连接”原则从这个集群中选出一台服务器,将该服务器加入到服务器组中,将请求发送到该服务器。同时,当该服务器组有一段时间没有被修改,将最忙的服务器从服务器组中删除,以降低复制的程度。 3、keepalived切换正常日志/var/log/message日志 以下是另外一台服务器挂了,当前这台服务器自动接管: Aug  4 15:15:47 localhost Keepalived_vrrp[1306]: VRRP_Instance(VI_1) Transition to MASTER STATE Aug  4 15:15:48 localhost Keepalived_vrrp[1306]: VRRP_Instance(VI_1) Entering MASTER STATE Aug  4 15:15:48 localhost Keepalived_vrrp[1306]: VRRP_Instance(VI_1) setting protocol VIPs. Aug  4 15:15:48 localhost Keepalived_healthcheckers[1303]: Netlink reflector reports IP 192.168.1.100 added Aug  4 15:15:48 localhost Keepalived_vrrp[1306]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.1.100 Aug  4 15:15:53 localhost Keepalived_vrrp[1306]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.1.100 以下是另外一台服务器恢复后,自动释放资源: Aug  4 15:17:25 localhost Keepalived_vrrp[1306]: VRRP_Instance(VI_1) Received higher prio advert Aug  4 15:17:25 localhost Keepalived_vrrp[1306]: VRRP_Instance(VI_1) Entering BACKUP STATE Aug  4 15:17:25 localhost Keepalived_vrrp[1306]: VRRP_Instance(VI_1) removing protocol VIPs. Aug  4 15:17:25 localhost Keepalived_healthcheckers[1303]: Netlink reflector reports IP 192.168.1.100 removed Aug  4 15:17:34 localhost Keepalived_healthcheckers[1303]: TCP connection to [192.168.1.105]:110 success. Aug  4 15:17:34 localhost Keepalived_healthcheckers[1303]: Adding service [192.168.1.105]:110 to VS [192.168.1.100]:110 Aug  4 15:17:35 localhost Keepalived_healthcheckers[1303]: TCP connection to [192.168.1.105]:143 success. Aug  4 15:17:35 localhost Keepalived_healthcheckers[1303]: Adding service [192.168.1.105]:143 to VS [192.168.1.100]:143 Aug  4 15:18:04 localhost Keepalived_healthcheckers[1303]: TCP connection to [192.168.1.107]:110 success. Aug  4 15:18:04 localhost Keepalived_healthcheckers[1303]: Adding service [192.168.1.107]:110 to VS [192.168.1.100]:110 Aug  4 15:18:05 localhost Keepalived_healthcheckers[1303]: TCP connection to [192.168.1.107]:143 success. Aug  4 15:18:05 localhost Keepalived_healthcheckers[1303]: Adding service [192.168.1.107]:143 to VS [192.168.1.100]:143


原文链接:https://blog.51cto.com/net881004/2346950
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章