前期准备：
NFS服务器：计算机名nfsserver，IP地址192.168.1.103，用于存放业务系统的数据。
node1：计算机名PXC01，IP地址192.168.1.105，安装pxc系统和业务系统。
node2：计算机名PXC02，IP地址192.168.1.106，安装pxc系统和业务系统。
node3：计算机名PXC03，IP地址192.168.1.107，安装pxc系统和业务系统。
lvs服务器：计算机名lvsserver，IP地址192.168.1.121，vip为192.168.1.100，安装lvs用于负载均衡。
操作系统均为：Centos 6.9 64位
备注1：第五章节为两台lvs服务器使用keepalived做高可用。
备注2：本方案相关工具原理知识，请网上了解。
方案架构图：
![图片.png]( "1548768181437124.png")
一、安装业务系统、配置mysql负载均衡（PXC方案）
----------------------------------前言---------------------------------
需实现以下目标：
1、实现多台mysql节点数据一模一样
2、任何一台mysql节点挂了，不影响使用
3、每个节点同时提供服务和读写
4、要考虑到以后的扩展性，比如增加节点方便
5、在复杂情况下全自动化，不需要手工干预
考虑和尝试过很多方案，最终选择PXC方案。其它方案不理想的原因如下：
（1）主从复制方案：此方案满足不了需求，因为如果对从节点写入东西，不会同步到主服务器。
（2）主主复制方案：不适合生产环境，而且增加第三个节点很麻烦。
（3）基于主从复制扩展方案（MMM、MHA）：此方案满足不了需求，因为读服务器虽然实现了负载均衡，但是写服务器只有一台提供服务。
（4）将mysql存在共享存储、DRBD中：不可行，节点不能同时提供服务，属于HA级别。
（5）Mysql Cluster集群：某种意义上来说只支持"NDB数据引擎"（分片要改成NDB，不分片不需要改），而且不支持外键、占用磁盘和内存大。重启的时候数据load到内存要很久。部署和管理起来复杂。
（6）Mysql Fabric集群：主要用两个功能，一个是mysql HA，另外一个是分片（即比如一个上TB的表，对其进行分片，然后每台服务器上存储一部分），不适用于我需要的环境。
----------------------------------前言---------------------------------
1、环境准备（node1、node2、node3）
node1 192.168.1.105 PXC01 centos 6.9 mini
node2 192.168.1.106 PXC02 centos 6.9 mini
node3 192.168.1.107 PXC03 centos 6.9 mini
2、关闭防火墙或selinux（node1、node2、node3）
[root@localhost ~]# /etc/init.d/iptables stop
[root@localhost ~]# chkconfig iptables off
[root@localhost ~]# setenforce 0
[root@localhost ~]# cat /etc/sysconfig/selinux
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - SELinux is fully disabled.
SELINUX=disabled
# SELINUXTYPE= type of policy in use. Possible values are:
# targeted - Only targeted network daemons are protected.
# strict - Full SELinux protection.
SELINUXTYPE=targeted
3、安装业务系统，并升级到最新版本（node1、node2、node3）
4、把业务系统所有表都设置成主键（node1）
查没主键的表的命令是：
select t1.table_schema,t1.table_name from information_schema.tables t1
left outer join
information_schema.TABLE_CONSTRAINTS t2
on t1.table_schema = t2.TABLE_SCHEMA and t1.table_name = t2.TABLE_NAME and t2.CONSTRAINT_NAME in
('PRIMARY')
where t2.table_name is null and t1.TABLE_SCHEMA not in ('information_schema','performance_schema','test','mysql', 'sys');
查有主键的表的命令是：
select t1.table_schema,t1.table_name from information_schema.tables t1
left outer join
information_schema.TABLE_CONSTRAINTS t2
on t1.table_schema = t2.TABLE_SCHEMA and t1.table_name = t2.TABLE_NAME and t2.CONSTRAINT_NAME in
('PRIMARY')
where t2.table_name is not null and t1.TABLE_SCHEMA not in ('information_schema','performance_schema','test','mysql', 'sys');
按照下面的模版设置主键（node1）
ALTER TABLE `表名` ADD `id` int(11) NOT NULL auto_increment FIRST, ADD primary key(id);
5、把业务系统非innodb引擎的表修改成innodb引擎表（node1）
查看哪些表用了MyISAM引擎：
[root@PXC01 ~]# mysql -u oa -p密码 -e "show table status from oa where Engine='MyISAM';"
[root@PXC01 ~]# mysql -u oa -p密码 -e "show table status from oa where Engine='MyISAM';" |awk '{print $1}' |sed 1d>mysqlchange
停止有使用到mysql的其它服务：
[root@PXC01 ~]# for i in 服务器名1 服务器名2;do /etc/init.d/$i stop;done
执行更改成innodb引擎的脚本：
[root@PXC01 ~]# cat mysqlchange_innodb.sh
#! /bin/bash
cat mysqlchange | while read LINE
do
tablename=$(echo $LINE |awk '{print $1}')
echo "现在修改$tablename的引擎为innodb"
mysql -u oa -p`密码 | grep -w pass | awk -F"= " '{print $NF}'` oa -e "alter table $tablename engine=innodb;"
done
验证：
[root@PXC01 ~]# mysql -u oa -p`密码 | grep -w pass | awk -F"= " '{print $NF}'` -e "show table status from oa where Engine='MyISAM';"
[root@PXC01 ~]# mysql -u oa -p`密码 | grep -w pass | awk -F"= " '{print $NF}'` -e "show table status from oa where Engine='innoDB';"
6、备份数据库（node1）
[root@PXC01 ~]# mysqldump -u oa -p`密码 | grep -w pass | awk -F"= " '{print $NF}'` --databases oa |gzip>20180524.sql.gz
[root@PXC01 ~]# ll
总用量 44
-rw-r--r-- 1 root root 24423 5月 22 16:55 20180524.sql.gz
7、将业务系统自带的mysql端口改成其它端口并且停止服务，开机不启动服务（node1、node2、node3）
8、yum安装pxc并配置
基础安装（node1、node2、node3）
[root@percona1 ~]# yum -y groupinstall Base Compatibility libraries Debugging Tools Dial-up Networking suppport Hardware monitoring utilities Performance Tools Development tools
组件安装（node1、node2、node3）
[root@percona1 ~]# yum install http://www.percona.com/downloads/percona-release/redhat/0.1-3/percona-release-0.1-3.noarch.rpm -y
[root@percona1 ~]# yum localinstall http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
[root@percona1 ~]# yum install socat libev -y
[root@percona1 ~]# yum install Percona-XtraDB-Cluster-55 -y
node1配置：
[root@PXC01 ~]# vi /etc/my.cnf
# 我业务系统需要6033端口
[client]
port=6033
# 我业务系统需要6033端口
[mysqld]
datadir=/var/lib/mysql
user=mysql
port=6033
# Path to Galera library
wsrep_provider=/usr/lib64/libgalera_smm.so
# Cluster connection URL contains the IPs of node#1, node#2 and node#3
wsrep_cluster_address=gcomm://192.168.1.105,192.168.1.106,192.168.1.107
# In order for Galera to work correctly binlog format should be ROW
binlog_format=ROW
# MyISAM storage engine has only experimental support
default_storage_engine=InnoDB
# This changes how InnoDB autoincrement locks are managed and is a requirement for Galera
innodb_autoinc_lock_mode=2
# Node #1 address
wsrep_node_address=192.168.1.105
# SST method
wsrep_sst_method=xtrabackup-v2
# Cluster name
wsrep_cluster_name=my_centos_cluster
# Authentication for SST method
wsrep_sst_auth="sstuser:s3cret"
node1启动mysql命令如下：
[root@PXC01 mysql]# /etc/init.d/mysql bootstrap-pxc
Bootstrapping PXC (Percona XtraDB Cluster) ERROR! MySQL (Percona XtraDB Cluster) is not running, but lock file (/var/lock/subsys/mysql) exists
Starting MySQL (Percona XtraDB Cluster)... SUCCESS!
如果是centos7，则启动命令如下：
[root@percona1 ~]# systemctl start mysql@bootstrap.service
若是重启的话，就先kill，然后删除pid文件后再执行上面的启动命令。
node1查看服务：
[root@PXC01 ~]# /etc/init.d/mysql status
SUCCESS! MySQL (Percona XtraDB Cluster) running (7712)
将/etc/init.d/mysql bootstrap-pxc加入到rc.local里面。
node1进入mysql控制台：
[root@PXC01 ~]# mysql
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.5.41-37.0-55 Percona XtraDB Cluster (GPL), Release rel37.0, Revision 855, WSREP version 25.12, wsrep_25.12.r4027
Copyright (c) 2009-2014 Percona LLC and/or its affiliates
Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> show status like 'wsrep%';
+----------------------------+--------------------------------------+
| Variable_name | Value |
+----------------------------+--------------------------------------+
| wsrep_local_state_uuid | 1ab083fc-5c46-11e8-a7b7-76a002f2b5c8 |
| wsrep_protocol_version | 4 |
| wsrep_last_committed | 0 |
| wsrep_replicated | 0 |
| wsrep_replicated_bytes | 0 |
| wsrep_received | 2 |
| wsrep_received_bytes | 134 |
| wsrep_local_commits | 0 |
| wsrep_local_cert_failures | 0 |
| wsrep_local_replays | 0 |
| wsrep_local_send_queue | 0 |
| wsrep_local_send_queue_avg | 0.000000 |
| wsrep_local_recv_queue | 0 |
| wsrep_local_recv_queue_avg | 0.000000 |
| wsrep_flow_control_paused | 0.000000 |
| wsrep_flow_control_sent | 0 |
| wsrep_flow_control_recv | 0 |
| wsrep_cert_deps_distance | 0.000000 |
| wsrep_apply_oooe | 0.000000 |
| wsrep_apply_oool | 0.000000 |
| wsrep_apply_window | 0.000000 |
| wsrep_commit_oooe | 0.000000 |
| wsrep_commit_oool | 0.000000 |
| wsrep_commit_window | 0.000000 |
| wsrep_local_state | 4 |
| wsrep_local_state_comment | Synced |
| wsrep_cert_index_size | 0 |
| wsrep_causal_reads | 0 |
| wsrep_incoming_addresses | 192.168.1.105:3306 |
| wsrep_cluster_conf_id | 1 |
| wsrep_cluster_size | 1 |
| wsrep_cluster_state_uuid | 1ab083fc-5c46-11e8-a7b7-76a002f2b5c8 |
| wsrep_cluster_status | Primary |
| wsrep_connected | ON |
| wsrep_local_bf_aborts | 0 |
| wsrep_local_index | 0 |
| wsrep_provider_name | Galera |
| wsrep_provider_vendor | Codership Oy <info@codership.com> |
| wsrep_provider_version | 2.12(r318911d) |
| wsrep_ready | ON |
| wsrep_thread_count | 2 |
+----------------------------+--------------------------------------+
41 rows in set (0.00 sec)
node1设置数据库用户名密码
mysql> UPDATE mysql.user SET password=PASSWORD("Passw0rd") where user='root';
node1创建、授权、同步账号
mysql> CREATE USER 'sstuser'@'localhost' IDENTIFIED BY 's3cret';
mysql> GRANT RELOAD, LOCK TABLES, REPLICATION CLIENT ON *.* TO 'sstuser'@'localhost';
mysql> FLUSH PRIVILEGES;
node1查看你指定集群的IP地址
mysql> SHOW VARIABLES LIKE 'wsrep_cluster_address';
+-----------------------+---------------------------------------------------+
| Variable_name | Value |
+-----------------------+---------------------------------------------------+
| wsrep_cluster_address | gcomm://192.168.1.105,192.168.1.106,192.168.1.107 |
+-----------------------+---------------------------------------------------+
1 row in set (0.00 sec)
node1此参数查看是否开启
mysql> show status like 'wsrep_ready';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| wsrep_ready | ON |
+---------------+-------+
1 row in set (0.00 sec)
node1查看集群的成员数
mysql> show status like 'wsrep_cluster_size';
+--------------------+-------+
| Variable_name | Value |
+--------------------+-------+
| wsrep_cluster_size | 1 |
+--------------------+-------+
1 row in set (0.00 sec)
node1查看wsrep的相关参数
mysql> show status like 'wsrep%';
+----------------------------+--------------------------------------+
| Variable_name | Value |
+----------------------------+--------------------------------------+
| wsrep_local_state_uuid | 1ab083fc-5c46-11e8-a7b7-76a002f2b5c8 |
| wsrep_protocol_version | 4 |
| wsrep_last_committed | 2 |
| wsrep_replicated | 2 |
| wsrep_replicated_bytes | 405 |
| wsrep_received | 2 |
| wsrep_received_bytes | 134 |
| wsrep_local_commits | 0 |
| wsrep_local_cert_failures | 0 |
| wsrep_local_replays | 0 |
| wsrep_local_send_queue | 0 |
| wsrep_local_send_queue_avg | 0.000000 |
| wsrep_local_recv_queue | 0 |
| wsrep_local_recv_queue_avg | 0.000000 |
| wsrep_flow_control_paused | 0.000000 |
| wsrep_flow_control_sent | 0 |
| wsrep_flow_control_recv | 0 |
| wsrep_cert_deps_distance | 1.000000 |
| wsrep_apply_oooe | 0.000000 |
| wsrep_apply_oool | 0.000000 |
| wsrep_apply_window | 0.000000 |
| wsrep_commit_oooe | 0.000000 |
| wsrep_commit_oool | 0.000000 |
| wsrep_commit_window | 0.000000 |
| wsrep_local_state | 4 |
| wsrep_local_state_comment | Synced |
| wsrep_cert_index_size | 2 |
| wsrep_causal_reads | 0 |
| wsrep_incoming_addresses | 192.168.1.105:3306 |
| wsrep_cluster_conf_id | 1 |
| wsrep_cluster_size | 1 |
| wsrep_cluster_state_uuid | 1ab083fc-5c46-11e8-a7b7-76a002f2b5c8 |
| wsrep_cluster_status | Primary |
| wsrep_connected | ON |
| wsrep_local_bf_aborts | 0 |
| wsrep_local_index | 0 |
| wsrep_provider_name | Galera |
| wsrep_provider_vendor | Codership Oy <info@codership.com> |
| wsrep_provider_version | 2.12(r318911d) |
| wsrep_ready | ON |
| wsrep_thread_count | 2 |
+----------------------------+--------------------------------------+
41 rows in set (0.00 sec)
node2配置：
[root@PXC02 ~]# vi /etc/my.cnf
我业务系统需要6033端口
[client]
port=6033
我业务系统需要6033端口
[mysqld]
datadir=/var/lib/mysql
user=mysql
port=6033
# Path to Galera library
wsrep_provider=/usr/lib64/libgalera_smm.so
# Cluster connection URL contains the IPs of node#1, node#2 and node#3
wsrep_cluster_address=gcomm://192.168.1.105,192.168.1.106,192.168.1.107
# In order for Galera to work correctly binlog format should be ROW
binlog_format=ROW
# MyISAM storage engine has only experimental support
default_storage_engine=InnoDB
# This changes how InnoDB autoincrement locks are managed and is a requirement for Galera
innodb_autoinc_lock_mode=2
# Node #1 address
wsrep_node_address=192.168.1.106
# SST method
wsrep_sst_method=xtrabackup-v2
# Cluster name
wsrep_cluster_name=my_centos_cluster
# Authentication for SST method
wsrep_sst_auth="sstuser:s3cret"
node2启动服务：
[root@PXC02 ~]# /etc/init.d/mysql start
ERROR! MySQL (Percona XtraDB Cluster) is not running, but lock file (/var/lock/subsys/mysql) exists
Starting MySQL (Percona XtraDB Cluster).....State transfer in progress, setting sleep higher
... SUCCESS!
node2查看服务：
[root@PXC02 ~]# /etc/init.d/mysql status
SUCCESS! MySQL (Percona XtraDB Cluster) running (9071)
node3配置：
[root@PXC03 ~]# vi /etc/my.cnf
我业务系统需要6033端口
[client]
port=6033
我业务系统需要6033端口
[mysqld]
datadir=/var/lib/mysql
user=mysql
port=6033
# Path to Galera library
wsrep_provider=/usr/lib64/libgalera_smm.so
# Cluster connection URL contains the IPs of node#1, node#2 and node#3
wsrep_cluster_address=gcomm://192.168.1.105,192.168.1.106,192.168.1.107
# In order for Galera to work correctly binlog format should be ROW
binlog_format=ROW
# MyISAM storage engine has only experimental support
default_storage_engine=InnoDB
# This changes how InnoDB autoincrement locks are managed and is a requirement for Galera
innodb_autoinc_lock_mode=2
# Node #1 address
wsrep_node_address=192.168.1.107
# SST method
wsrep_sst_method=xtrabackup-v2
# Cluster name
wsrep_cluster_name=my_centos_cluster
# Authentication for SST method
wsrep_sst_auth="sstuser:s3cret"
node3启动服务：
[root@PXC03 ~]# /etc/init.d/mysql start
ERROR! MySQL (Percona XtraDB Cluster) is not running, but lock file (/var/lock/subsys/mysql) exists
Starting MySQL (Percona XtraDB Cluster)......State transfer in progress, setting sleep higher
.... SUCCESS!
node3查看服务：
[root@PXC03 ~]# /etc/init.d/mysql status
SUCCESS! MySQL (Percona XtraDB Cluster) running (9071)
..................................注意................................
-> 除了名义上的master之外，其它的node节点只需要启动mysql即可。
-> 节点的数据库的登陆和master节点的用户名密码一致，自动同步。所以其它的节点数据库用户名密码无须重新设置。
也就是说，如上设置，只需要在名义上的master节点（如上的node1）上设置权限，其它的节点配置好/etc/my.cnf后，只需要启动mysql就行，权限会自动同步过来。
如上的node2，node3节点，登陆mysql的权限是和node1一样的（即是用node1设置的权限登陆）
.....................................................................
如果上面的node2、node3启动mysql失败，比如/var/lib/mysql下的err日志报错如下：
[ERROR] WSREP: gcs/src/gcs_group.cpp:long int gcs_group_handle_join_msg(gcs_
解决办法：
-> 查看节点上的iptables防火墙是否关闭；检查到名义上的master节点上的4567端口是否连通（telnet）
-> selinux是否关闭
-> 删除名义上的master节点上的grastate.dat后，重启名义上的master节点的数据库；当然当前节点上的grastate.dat也删除并重启数据库
.....................................................................
9、最后进行测试
在任意一个node上，进行添加，删除，修改操作，都会同步到其他的服务器，是现在主主的模式，当然前提是表引擎必须是innodb，因为galera目前只支持innodb的表。
mysql> show status like 'wsrep%';
+----------------------------+----------------------------------------------------------+
| Variable_name | Value |
+----------------------------+----------------------------------------------------------+
| wsrep_local_state_uuid | 1ab083fc-5c46-11e8-a7b7-76a002f2b5c8 |
| wsrep_protocol_version | 4 |
| wsrep_last_committed | 2 |
| wsrep_replicated | 2 |
| wsrep_replicated_bytes | 405 |
| wsrep_received | 10 |
| wsrep_received_bytes | 728 |
| wsrep_local_commits | 0 |
| wsrep_local_cert_failures | 0 |
| wsrep_local_replays | 0 |
| wsrep_local_send_queue | 0 |
| wsrep_local_send_queue_avg | 0.000000 |
| wsrep_local_recv_queue | 0 |
| wsrep_local_recv_queue_avg | 0.000000 |
| wsrep_flow_control_paused | 0.000000 |
| wsrep_flow_control_sent | 0 |
| wsrep_flow_control_recv | 0 |
| wsrep_cert_deps_distance | 0.000000 |
| wsrep_apply_oooe | 0.000000 |
| wsrep_apply_oool | 0.000000 |
| wsrep_apply_window | 0.000000 |
| wsrep_commit_oooe | 0.000000 |
| wsrep_commit_oool | 0.000000 |
| wsrep_commit_window | 0.000000 |
| wsrep_local_state | 4 |
| wsrep_local_state_comment | Synced |
| wsrep_cert_index_size | 0 |
| wsrep_causal_reads | 0 |
| wsrep_incoming_addresses | 192.168.1.105:6033,192.168.1.106:6033,192.168.1.107:6033 |
| wsrep_cluster_conf_id | 3 |
| wsrep_cluster_size | 3 |
| wsrep_cluster_state_uuid | 1ab083fc-5c46-11e8-a7b7-76a002f2b5c8 |
| wsrep_cluster_status | Primary |
| wsrep_connected | ON |
| wsrep_local_bf_aborts | 0 |
| wsrep_local_index | 0 |
| wsrep_provider_name | Galera |
| wsrep_provider_vendor | Codership Oy <info@codership.com> |
| wsrep_provider_version | 2.12(r318911d) |
| wsrep_ready | ON |
| wsrep_thread_count | 2 |
+----------------------------+----------------------------------------------------------+
41 rows in set (0.00 sec)
在node3上创建一个库
mysql> create database wangshibo;
Query OK, 1 row affected (0.02 sec)
然后在node1和node2上查看，自动同步过来
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mysql |
| performance_schema |
| test |
| wangshibo |
+--------------------+
5 rows in set (0.00 sec)
在node1上的wangshibo库下创建表，插入数据
mysql> use wangshibo;
Database changed
mysql> create table test(id int(5));
Query OK, 0 rows affected (0.11 sec)
mysql> insert into test values(1);
Query OK, 1 row affected (0.01 sec)
mysql> insert into test values(2);
Query OK, 1 row affected (0.02 sec)
同样，在其它的节点上查看，也是能自动同步过来
mysql> select * from wangshibo.test;
+------+
| id |
+------+
| 1 |
| 2 |
+------+
2 rows in set (0.00 sec)
10、node1还原数据库(node1)
mysql> create database oa;
gunzip 20180524.sql.gz
/usr/bin/mysql -uroot -p密码 oa <20180524.sql
for i in 服务器名1 服务器名2;do /etc/init.d/$i start;done
11、然后验证node2和node3是否从node1同步了数据库和所有表
二、NFS服务器配置
----------------------------------前言---------------------------------
这步其实就是就是存储数据。
要实现三台节点服务器都使用一样的数据，方法一般有：
（1）NFS：所有数据存放在一台NFS服务器上，因为NFS可以将锁放在nfs服务器端，这样就不会造成同时读写文件、损坏文件。
（2）支持同时读写一个文件的存储设备：设备很昂贵。
（3）分布式文件系统：比如Fasthds、HDFS，没有深入研究，可能需要更改业务程序代码。
----------------------------------前言---------------------------------
1、安装nfs相关包
[root@nfsserver ~]# yum -y install nfs-utils rpcbind
2、建立共享目录，并且建立用户，并赋予目录用户和组权限（什么用户和组取决于业务系统要求）。
[root@nfsserver ~]# groupadd -g 9005 oa
[root@nfsserver ~]# useradd -u 9005 -g 9005 oa -d /home/oa -s /sbin/nologin
[root@nfsserver ~]# mkdir /data
[root@nfsserver ~]# chown -hR oa.oa /data
[root@nfsserver ~]# chmod -R 777 /data （或755）
3、建立exports文件，rw表示读写。
[root@nfsserver /]# cat /etc/exports
/data 192.168.1.105(rw,sync,all_squash,anonuid=9005,anongid=9005)
/data 192.168.1.106(rw,sync,all_squash,anonuid=9005,anongid=9005)
/data 192.168.1.107(rw,sync,all_squash,anonuid=9005,anongid=9005)
4、重启服务和设置服务开机启动，一定要先重启rpcbind，然后才能重启nfs。
[root@nfsserver /]# /etc/init.d/rpcbind start
正在启动 rpcbind： [确定]
[root@nfsserver /]# rpcinfo -p localhost
[root@nfsserver /]# netstat -lnt
[root@nfsserver /]# chkconfig rpcbind on
[root@nfsserver /]# chkconfig --list | grep rpcbind
[root@nfsserver /]# /etc/init.d/nfs start
启动 NFS 服务： [确定]
启动 NFS mountd： [确定]
启动 NFS 守护进程： [确定]
正在启动 RPC idmapd： [确定]
[root@nfsserver /]# rpcinfo -p localhost 会发现多出来好多端口
[root@nfsserver /]# chkconfig nfs on
[root@nfsserver /]# chkconfig --list | grep nfs
5、关闭防火墙和selinux。
[root@nfsserver /]# service iptables stop
iptables：将链设置为政策 ACCEPT：filter [确定]
iptables：清除防火墙规则： [确定]
iptables：正在卸载模块： [确定]
[root@nfsserver /]# chkconfig iptables off
[root@nfsserver /]# selinux关闭方法略。
三、NFS客户端配置（node1、node2、node3）
1、看下NFS服务器的共享（node1、node2、node3）
[root@oaserver1 ~]# yum -y install nfs-utils rpcbind（showmount命令要安装这个）
[root@oaserver1 /]# /etc/init.d/rpcbind start
[root@oaserver1 /]# rpcinfo -p localhost
[root@oaserver1 /]# netstat -lnt
[root@oaserver1 /]# chkconfig rpcbind on
[root@oaserver1 /]# chkconfig --list | grep rpcbind
[root@PXC01 ~]# showmount -e 192.168.1.103
Export list for 192.168.1.103:
/data 192.168.1.107,192.168.1.106,192.168.1.105
2、新建挂载目录，并且挂载（node1、node2、node3）
[root@oaserver1 ~]# mkdir /data
[root@oaserver1 ~]# mount -t nfs 192.168.1.103:/data /data
[root@oaserver1 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root
18G 3.6G 13G 22% /
tmpfs 491M 4.0K 491M 1% /dev/shm
/dev/sda1 477M 28M 425M 7% /boot
192.168.1.103:/data
14G 2.1G 11G 16% /data
[root@oaserver1 ~]# cd /
[root@oaserver1 /]# ls -lhd data*
drwxrwxrwx 2 oa oa 4.0K 5月 24 2018 data
3、设置开机自动挂载（node1、node2、node3）
[root@oaserver1 data]# vi /etc/fstab
192.168.1.103:/data /data nfs defaults 0 0
4、移动数据目录到/data目录下
步骤主要是停止相关服务，然后移动数据到/data目录，然后做个软连接。
5、重启下服务器后验证
四、负载均衡lvs配置（单台负载均衡服务器）
1、DS配置
安装所需的依赖包
yum install -y wget make kernel-devel gcc gcc-c++ libnl* libpopt* popt-static
创建一个软链接，防止后面编译安装ipvsadm时找不到系统内核
ln -s /usr/src/kernels/2.6.32-696.30.1.el6.x86_64/ /usr/src/linux
下载安装ipvsadm
wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz
tar zxvf ipvsadm-1.26.tar.gz
cd ipvsadm-1.26
make && make install
ipvsadm
创建文件 /etc/init.d/lvsdr, 并赋予执行权限:
#!/bin/sh
VIP=192.168.1.100
RIP1=192.168.1.105
RIP2=192.168.1.106
RIP3=192.168.1.107
. /etc/rc.d/init.d/functions
case "$1" in
start)
echo " start LVS of DirectorServer"
# set the Virtual IP Address
ifconfig eth0:0 $VIP/24
#/sbin/route add -host $VIP dev eth0:0
#Clear IPVS table
/sbin/ipvsadm -c
#set LVS
/sbin/ipvsadm -A -t $VIP:80 -s sh
/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
/sbin/ipvsadm -a -t $VIP:80 -r $RIP3:80 -g
/sbin/ipvsadm -A -t $VIP:25 -s sh
/sbin/ipvsadm -a -t $VIP:25 -r $RIP1:25 -g
/sbin/ipvsadm -a -t $VIP:25 -r $RIP2:25 -g
/sbin/ipvsadm -a -t $VIP:25 -r $RIP3:25 -g
/sbin/ipvsadm -A -t $VIP:110 -s sh
/sbin/ipvsadm -a -t $VIP:110 -r $RIP1:110 -g
/sbin/ipvsadm -a -t $VIP:110 -r $RIP2:110 -g
/sbin/ipvsadm -a -t $VIP:110 -r $RIP3:110 -g
/sbin/ipvsadm -A -t $VIP:143 -s sh
/sbin/ipvsadm -a -t $VIP:143 -r $RIP1:143 -g
/sbin/ipvsadm -a -t $VIP:143 -r $RIP2:143 -g
/sbin/ipvsadm -a -t $VIP:143 -r $RIP3:143 -g
#/sbin/ipvsadm -a -t $VIP:80 -r $RIP3:80 –g
#Run LVS
/sbin/ipvsadm
#end
;;
stop)
echo "close LVS Directorserver"
/sbin/ipvsadm -c
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
[root@lvsserver ~]# chmod +x /etc/init.d/lvsdr
[root@lvsserver ~]# /etc/init.d/lvsdr start 启动
[root@lvsserver ~]# vi /etc/rc.local 加入到开机自启动
/etc/init.d/lvsdr start
[root@localhost ~]# ifconfig
eth0 Link encap:Ethernet HWaddr 00:50:56:8D:19:13
inet addr:192.168.1.121 Bcast:192.168.1.255 Mask:255.255.255.0
inet6 addr: fe80::250:56ff:fe8d:1913/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:10420500 errors:0 dropped:0 overruns:0 frame:0
TX packets:421628 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:1046805128 (998.3 MiB) TX bytes:101152496 (96.4 MiB)
eth0:0 Link encap:Ethernet HWaddr 00:50:56:8D:19:13
inet addr:192.168.1.100 Bcast:192.168.1.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:164717347 errors:0 dropped:0 overruns:0 frame:0
TX packets:164717347 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:28297589130 (26.3 GiB) TX bytes:28297589130 (26.3 GiB)
2、RS配置（node1、node2、node3）
[root@oaserver1 ~]# vi /etc/init.d/realserver
#!/bin/sh
VIP=192.168.1.100
. /etc/rc.d/init.d/functions
case "$1" in
start)
echo " start LVS of RealServer"
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
service network restart
ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
route add -host $VIP dev lo:0
#end
;;
stop)
echo "close LVS Realserver"
service network restart
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
[root@oaserver1 ~]# chmod +x /etc/init.d/realserver
[root@oaserver1 ~]# /etc/init.d/realserver start
[root@oaserver1 ~]# vi /etc/rc.local
/etc/init.d/realserver start
[root@oaserver1 ~]# ifconfig
eth0 Link encap:Ethernet HWaddr 00:0C:29:DC:B1:39
inet addr:192.168.1.105 Bcast:192.168.1.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fedc:b139/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:816173 errors:0 dropped:0 overruns:0 frame:0
TX packets:399007 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:534582215 (509.8 MiB) TX bytes:98167814 (93.6 MiB)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:43283 errors:0 dropped:0 overruns:0 frame:0
TX packets:43283 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:8895319 (8.4 MiB) TX bytes:8895319 (8.4 MiB)
lo:0 Link encap:Local Loopback
inet addr:192.168.1.100 Mask:255.255.255.255
UP LOOPBACK RUNNING MTU:65536 Metric:1
3、重启服务器测试下，我是将其中一台的logo换掉，然后刷新，如果logo会变就表示成功。可以用ipvsadm名称查看。
五、负载均衡lvs+keepalived配置（两台负载均衡服务器实现高可用）
两台lvs负载均衡服务器用keepalived高可用，另外keepalived能实现健康检查（自动移除有问题RS节点），如果没有此功能，那么有一台oa挂了，lvs依然会转发给它，造成访问故障。
1、环境
Keepalived1 + lvs1(Director1)：192.168.1.121
Keepalived2 + lvs2(Director2)：192.168.1.122
Real server1：192.168.1.105
Real server1：192.168.1.106
Real server1：192.168.1.107
IP: 192.168.1.100
2、安装所需的依赖包
yum install -y wget make kernel-devel gcc gcc-c++ libnl* libpopt* popt-static
创建一个软链接，防止后面编译安装ipvsadm时找不到系统内核
ln -s /usr/src/kernels/2.6.32-696.30.1.el6.x86_64/ /usr/src/linux
3、Lvs + keepalived的2个节点安装
yum install ipvsadm keepalived -y
也可以编译安装ipvsadm（没试过这个，不建议）
wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz
tar zxvf ipvsadm-1.26.tar.gz
cd ipvsadm-1.26
make && make install
ipvsadm
4、Real server节点3台配置脚本（node1、node2、node3）：
[root@oaserver1 ~]# vi /etc/init.d/realserver
#!/bin/sh
VIP=192.168.1.100
. /etc/rc.d/init.d/functions
case "$1" in
start)
echo " start LVS of RealServer"
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
service network restart
ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
route add -host $VIP dev lo:0
#end
;;
stop)
echo "close LVS Realserver"
service network restart
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
[root@oaserver1 ~]# chmod +x /etc/init.d/realserver
[root@oaserver1 ~]# /etc/init.d/realserver start
[root@oaserver1 ~]# vi /etc/rc.local
/etc/init.d/realserver start
[root@oaserver1 ~]# ifconfig
eth0 Link encap:Ethernet HWaddr 00:0C:29:07:D5:96
inet addr:192.168.1.105 Bcast:192.168.1.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fe07:d596/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:1390 errors:0 dropped:0 overruns:0 frame:0
TX packets:1459 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:334419 (326.5 KiB) TX bytes:537109 (524.5 KiB)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:2633 errors:0 dropped:0 overruns:0 frame:0
TX packets:2633 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:539131 (526.4 KiB) TX bytes:539131 (526.4 KiB)
lo:0 Link encap:Local Loopback
inet addr:192.168.1.100 Mask:255.255.255.255
UP LOOPBACK RUNNING MTU:65536 Metric:1
5、Lvs + keepalived节点配置，好像可以设置如果那台有问题，然后邮件通知。
主节点( MASTER )配置文件
vi /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.100
}
}
virtual_server 192.168.1.100 80 {
delay_loop 6
lb_algo sh
lb_kind DR
persistence_timeout 0
protocol TCP
real_server 192.168.1.105 80 {
weight 1
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.1.106 80 {
weight 1
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.1.107 80 {
weight 1
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
virtual_server 192.168.1.100 25 {
delay_loop 6
lb_algo sh
lb_kind DR
persistence_timeout 0
protocol TCP
real_server 192.168.1.105 25 {
weight 1
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 25
}
}
real_server 192.168.1.106 25 {
weight 1
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 25
}
}
real_server 192.168.1.107 25 {
weight 1
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 25
}
}
}
virtual_server 192.168.1.100 110 {
delay_loop 6
lb_algo sh
lb_kind DR
persistence_timeout 0
protocol TCP
real_server 192.168.1.105 110 {
weight 1
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 110
}
}
real_server 192.168.1.106 110 {
weight 1
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 110
}
}
real_server 192.168.1.107 110 {
weight 1
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 110
}
}
}
virtual_server 192.168.1.100 143 {
delay_loop 6
lb_algo sh
lb_kind DR
persistence_timeout 0
protocol TCP
real_server 192.168.1.105 143 {
weight 1
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 143
}
}
real_server 192.168.1.106 143 {
weight 1
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 143
}
}
real_server 192.168.1.107 143 {
weight 1
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 143
}
}
}
从节点( BACKUP )配置文件
拷贝主节点的配置文件keepalived.conf，然后修改如下内容：
state MASTER -> state BACKUP
priority 100 -> priority 90
keepalived的2个节点执行如下命令，开启转发功能：
# echo 1 > /proc/sys/net/ipv4/ip_forward
6、两节点关闭防火墙
/etc/init.d/iptables stop
chkconfig iptables off
7、两节点先后顺序启动keepalive
先主后从分别启动keepalive
service keepalived start
chkconfig keepalived on
8、测试故障转移
六、维护注意项
1、麻烦开机或维护的时候，务必按照这个开机顺序（间隔2-3分钟左右）：
（1）、103 NFS服务器
（2）、105 业务服务器
（3）、106、107 业务服务器
（4）、121负载分发服务器
（5）、122负载分发服务器
备注：如果103不先启动，那oa服务器挂载不了存储分区。然后105oa服务器不首先启动，106和107的mysql服务启动不起来。
2、正常关机或重启顺序
（1）121、122负载分发服务器
（2）106、107 业务服务器
（3）105 业务服务器
（4）103 NFS服务器
3、如果3台业务服务器，出现个别正常关机或重启卡在那里很久的，麻烦暂时直接关机就可以。
--------------------------------------------------------------------------------
附：
LVS的调度算法分为静态与动态两类。
1.静态算法（4种）：只根据算法进行调度 而不考虑后端服务器的实际连接情况和负载情况
①.RR：轮叫调度（Round Robin）
调度器通过”轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载｡
②.WRR：加权轮叫（Weight RR）
调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。
③.DH：目标地址散列调度（Destination Hash ）
根据请求的目标IP地址，作为散列键(HashKey)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
④.SH：源地址 hash（Source Hash）
源地址散列”调度算法根据请求的源IP地址，作为散列键(HashKey)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空｡
2.动态算法（6种）：前端的调度器会根据后端真实服务器的实际连接情况来分配请求
①.LC：最少链接（Least Connections）
调度器通过”最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用”最小连接”调度算法可以较好地均衡负载。
②.WLC：加权最少连接(默认采用的就是这种)（Weighted Least Connections）
在集群系统中的服务器性能差异较大的情况下，调度器采用“加权最少链接”调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载｡调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。
③.SED：最短延迟调度（Shortest Expected Delay ）
在WLC基础上改进，Overhead = （ACTIVE+1）*256/加权，不再考虑非活动状态，把当前处于活动状态的数目+1来实现，数目最小的，接受下次请求，+1的目的是为了考虑加权的时候，非活动连接过多缺陷：当权限过大的时候，会倒置空闲服务器一直处于无连接状态。
④.NQ永不排队/最少队列调度（Never Queue Scheduling NQ）
无需队列。如果有台 realserver的连接数＝0就直接分配过去，不需要再进行sed运算，保证不会有一个主机很空间。在SED基础上无论+几，第二次一定给下一个，保证不会有一个主机不会很空闲着，不考虑非活动连接，才用NQ，SED要考虑活动状态连接，对于DNS的UDP不需要考虑非活动连接，而httpd的处于保持状态的服务就需要考虑非活动连接给服务器的压力。
⑤.LBLC：基于局部性的最少链接（locality-Based Least Connections）
基于局部性的最少链接”调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统｡该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器;若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用“最少链接”的原则选出一个可用的服务器，将请求发送到该服务器｡
⑥. LBLCR：带复制的基于局部性最少连接（Locality-Based Least Connections with Replication）
带复制的基于局部性最少链接”调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统｡它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射｡该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按”最小连接”原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器；若服务器超载，则按“最小连接”原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器｡同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。
3、keepalived切换正常日志/var/log/message日志
以下是另外一台服务器挂了，当前这台服务器自动接管：
Aug 4 15:15:47 localhost Keepalived_vrrp[1306]: VRRP_Instance(VI_1) Transition to MASTER STATE
Aug 4 15:15:48 localhost Keepalived_vrrp[1306]: VRRP_Instance(VI_1) Entering MASTER STATE
Aug 4 15:15:48 localhost Keepalived_vrrp[1306]: VRRP_Instance(VI_1) setting protocol VIPs.
Aug 4 15:15:48 localhost Keepalived_healthcheckers[1303]: Netlink reflector reports IP 192.168.1.100 added
Aug 4 15:15:48 localhost Keepalived_vrrp[1306]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.1.100
Aug 4 15:15:53 localhost Keepalived_vrrp[1306]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.1.100
以下是另外一台服务器恢复后，自动释放资源：
Aug 4 15:17:25 localhost Keepalived_vrrp[1306]: VRRP_Instance(VI_1) Received higher prio advert
Aug 4 15:17:25 localhost Keepalived_vrrp[1306]: VRRP_Instance(VI_1) Entering BACKUP STATE
Aug 4 15:17:25 localhost Keepalived_vrrp[1306]: VRRP_Instance(VI_1) removing protocol VIPs.
Aug 4 15:17:25 localhost Keepalived_healthcheckers[1303]: Netlink reflector reports IP 192.168.1.100 removed
Aug 4 15:17:34 localhost Keepalived_healthcheckers[1303]: TCP connection to [192.168.1.105]:110 success.
Aug 4 15:17:34 localhost Keepalived_healthcheckers[1303]: Adding service [192.168.1.105]:110 to VS [192.168.1.100]:110
Aug 4 15:17:35 localhost Keepalived_healthcheckers[1303]: TCP connection to [192.168.1.105]:143 success.
Aug 4 15:17:35 localhost Keepalived_healthcheckers[1303]: Adding service [192.168.1.105]:143 to VS [192.168.1.100]:143
Aug 4 15:18:04 localhost Keepalived_healthcheckers[1303]: TCP connection to [192.168.1.107]:110 success.
Aug 4 15:18:04 localhost Keepalived_healthcheckers[1303]: Adding service [192.168.1.107]:110 to VS [192.168.1.100]:110
Aug 4 15:18:05 localhost Keepalived_healthcheckers[1303]: TCP connection to [192.168.1.107]:143 success.
Aug 4 15:18:05 localhost Keepalived_healthcheckers[1303]: Adding service [192.168.1.107]:143 to VS [192.168.1.100]:143
