mysql基于RHCS、Gtid主从复制的高性能、LB、HA集群架构

2017-11-14 686

本文基于2个角度进行

1：mysql主从复制，读写分离部分

2：RHCS实现mysql-proxy、mysql-master、lvs高可用

架构图

可能会用到的yum源

http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm

http://elrepo.org/elrepo-release-6-5.el6.elrepo.noarch.rpm

系统环境：

CentOS release 6.4 (Final) 2.6.32-358.el6.x86_64

地址分配

mysql-proxy-fip：10.0.0.100

mysql-master-fip：10.0.0.101

lvs-vip：10.0.0.15

ha1:10.0.0.11

ha2:10.0.0.12

ha3:10.0.0.13

ha4:10.0.0.14

real1:10.0.0.15

real2:10.0.0.16

背景：

在数据库服务器非常繁忙的情况下，实现mysql读离分离是扩展性能的一个不错的方案，理由为以下几点

1：考虑在mysql双主中，很难保证数据一致性（mysql-mmm可以实现，但有待生产环境的考验），而且并不能提高写性能

2：在从服务器中，使用lvs为从进行负载分摊，在mysql-proxy上将读操作都指向lvs的集群地址上，能大大提高读性能

3：在这中场景中，有3个单点故障，mysql-proxy，mysql主服务器，和从服务器集群的lvs负载均衡器，这里RHCS的高可用方案解决单点故障

a：使用drbd镜像解决mysql-master的单点故障

b：使用keepalived解决lvs的单点故障

c：使用RHCS自带的L实现mysql-proxy故障的自动切换

此套方案中，将mysql-proxy 、mysql-master、lvs分别以ha4节点作为各自的故障转移域，出现服务中断后自动转移到备份主机上。

具体部署

Mysql主从部分

安装mysql-5.6.10-linux-glibc2.5-x86_64.tar.gz

在mysql-5.6版本引进了Gtid的机制，使得其复制功能的配置、监控及管理变得更加易于实现，且更加健壮。

简单说明Gtid的功能，主要实现了以下2个作用

1：从服务器到主服务器复制数据后，应用数据的时候可以启用多线程，加快复制的速度，降低主从之间的延迟。

2：通过全局事务 ID，可以自动识别上次同步的点，可以非常简单的追踪比较复制事务信息，能够实现主服务器down掉后快速恢复，甚至自动讲从服务器提升为主服务器并能保持各从服务器数据一致，可以实现mysql复制自身的ha（此文的ha基于RHCS而不使用Gtid的方式）。

配置DRBD

首先安装drbd，使用elrepo提供的yum扩展包，直接yum安装drbd

rpm -ivh http://elrepo.org/elrepo-release-6-5.el6.elrepo.noarch.rpm

在ha2，ha4上安装drbd工具包和drbd的内核模块

yum install drbd84-utils kmod-drbd84 –y

drbd全局配置

[root@ha4 ~]# grep '[[:space:]]*#.*$' -v /etc/drbd.d/global_common.conf

global {

usage-countno;

}

common {

handlers{

pri-on-incon-degr"/usr/lib/drbd/notify-pri-on-incon-degr.sh;/usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ;reboot -f";

pri-lost-after-sb"/usr/lib/drbd/notify-pri-lost-after-sb.sh;/usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ;reboot -f";

local-io-error"/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh;echo o > /proc/sysrq-trigger ; halt -f";

}

startup{

}

options{

}

disk {

on-io-errordetach;

}

net {

cram-hmac-alg"sha1";

shared-secret"lust"

}

syncer{

rate1000M;

}

drbd资源配置，使用双主模型，由RHCS控制哪个节点挂载

[root@ha4 ~]# cat /etc/drbd.d/mysql.res

resource mysql {

net{

protocol C;

allow-two-primaries yes;

}

startup{

become-primary-on both;

}

disk {

fencing resource-and-stonith;

}

handlers {

# Make sure the other node is confirmed

# dead after this!

outdate-peer "/sbin/kill-other-node.sh";

}

on ha2 {

device /dev/drbd0;

disk /dev/sda5;

address 10.0.0.12:7789;

meta-diskinternal;

}

on ha4 {

device /dev/drbd0;

disk /dev/sda5;

address 10.0.0.14:7789;

meta-diskinternal;

}

将配置文件复制一份到ha2，保持相同即可

ha2,ha4上分别依次执行

初始化资源

drbdadm create-md web

启动服务

service drbd start

格式化磁盘

mkfs.ext4 /dev/drbd0

安装好drbd后安装mysql数据库，并初始化mysql的时候将datadir目录指向将要挂载drbd的目录

先挂载drbd设备

mkdir /mysql/data

mount /dev/drbd0 /mysql/data/

配置mysql复制

安装mysql，具体安装过程不再列出，这里列出2个注意点

注意点1：

在ha4测试安装mysql的时候，只能在一个节点上挂载drbd设备，否则会引起文件系统崩溃

注意点2：

一定要将mysql设置为开机不启动，让RHCS来管理mysql的start和stop,这对于配置其它节点的资源也是一样的，这点下面将不再说明

master：[mysqld]段的配置（ha2和ha4保持一致，需要改动的部分看配置的中注释）

sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

binlog-format=ROW

log-bin=master-bin

log-slave-updates=true

gtid-mode=on

enforce-gtid-consistency=true

master-info-repository=TABLE

relay-log-info-repository=TABLE

sync-master-info=1

slave-parallel-workers=2

binlog-checksum=CRC32

master-verify-checksum=1

slave-sql-verify-checksum=1

binlog-rows-query-log_events=1

server-id=1

report-port=3306

port=3306

datadir=/mysql/data

socket=/tmp/mysql.sock

report-host=ha2

real1：[mysqld]的配置

binlog-format=ROW

log-slave-updates=true

gtid-mode=on

enforce-gtid-consistency=true

master-info-repository=TABLE

relay-log-info-repository=TABLE

sync-master-info=1

slave-parallel-workers=2

binlog-checksum=CRC32

master-verify-checksum=1

slave-sql-verify-checksum=1

binlog-rows-query-log_events=1

server-id=11 #在real2上配置为12

report-port=3306

port=3306

log-bin=mysql-bin.log

datadir=/mysql/data

socket=/tmp/mysql.sock

report-host=slave1 #在real2上配置为slave2

在master上创建复制用户

mysql> GRANT REPLICATION SLAVEON *.* TO "repluser"@"10.0.0.%" IDENTIFIED BY '123456';

在slave上指定master

mysql>CHANGE MASTER TOMASTER_HOST='10.0.0.101', MASTER_USER='repluser', MASTER_PASSWORD='123456',MASTER_AUTO_POSITION=1;

启动复制进程

mysql>START SLAVE;

查看复制状态

配置mysql-proxy

先安装EPEL源，此源包含mysql-proxy的rpm包

rpm –ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm

安装mysql-proxy

yum install mysql-proxy –y

配置mysql-proxy

/etc/init.d/mysql-proxy启动脚本

 
        #!/bin/bash
       
        #
       
        # mysql-proxy This script starts and stopsthe mysql-proxy daemon
       
        #
       
        # chkconfig: - 78 30
       
        # processname: mysql-proxy
       
        # description: mysql-proxy is a proxydaemon for mysql
       
        # Source function library.
       
        . 
        /etc/rc
        .d
        /init
        .d
        /functions 
       
        prog=
        "/usr/bin/mysql-proxy" 
       
        # Source networking configuration.
       
        if 
        [ -f 
        /etc/sysconfig/network 
        ]; 
        then 
       
        .
        /etc/sysconfig/network 
       
        fi
       
        # Check that networking is up.
       
        [ ${NETWORKING} = 
        "no" 
        ]&& 
        exit 
        0 
       
        # Set default mysql-proxy configuration.
       
        ADMIN_USER=
        "admin" 
       
        ADMIN_PASSWD=
        "admin" 
       
        ADMIN_LUA_SCRIPT=
        "/usr/lib64/mysql-proxy/lua/admin.lua" 
       
        PROXY_OPTIONS=
        "--daemon" 
       
        PROXY_PID=
        /var/run/mysql-proxy
        .pid 
       
        PROXY_USER=
        "mysql-proxy" 
       
        # Source mysql-proxy configuration.
       
        if 
        [ -f 
        /etc/sysconfig/mysql-proxy 
        ]; 
        then 
       
        .
        /etc/sysconfig/mysql-proxy 
       
        fi
       
        RETVAL=0
       
        start() {
       
        echo 
        -n $
        "Starting $prog: " 
       
        daemon $prog $PROXY_OPTIONS --pid-
        file
        =$PROXY_PID--proxy-address=
        "$PROXY_ADDRESS" 
        --user=$PROXY_USER--admin-username=
        "$ADMIN_USER"
        --admin-lua-script=
        "$ADMIN_LUA_SCRIPT"
        --admin-password=
        "$ADMIN_PASSWORD" 
       
        RETVAL=$? 
       
        echo 
       
        if 
        [ $RETVAL -
        eq 
        0 ]; 
        then 
       
        touch 
        /var/lock/subsys/mysql-proxy 
       
        fi 
       
        }
       
        stop() {
       
        echo 
        -n $
        "Stopping $prog: " 
       
        killproc -p $PROXY_PID -d 3 $prog 
       
        RETVAL=$? 
       
        echo 
       
        if 
        [ $RETVAL -
        eq 
        0 ]; 
        then 
       
        rm 
        -f 
        /var/lock/subsys/mysql-proxy 
       
        rm 
        -f $PROXY_PID 
       
        fi 
       
        }
       
        # See how we were called.
       
        case 
        "$1" 
        in 
       
        start) 
       
        start 
       
        ;; 
       
        stop) 
       
        stop 
       
        ;; 
       
        restart) 
       
        stop 
       
        start 
       
        ;; 
       
        condrestart|try-restart) 
       
        if 
        status -p $PROXY_PIDFILE $prog >&
        /dev/null
        ; 
        then 
       
        stop 
       
        start 
       
        fi 
       
        ;; 
       
        status) 
       
        status -p $PROXY_PID $prog 
       
        ;; 
       
        *) 
       
        echo 
        "Usage: $0{start|stop|restart|reload|status|condrestart|try-restart}" 
       
        RETVAL=1 
       
        ;; 
       
        esac
       
        exit 
        $RETVAL

配置参数

cat /etc/sysconfig/mysql-proxy

ADMIN_USER="admin"

ADMIN_PASSWORD="admin"

ADMIN_ADDRESS=""

ADMIN_LUA_SCRIPT="/usr/lib64/mysql-proxy/lua/admin.lua"

PROXY_ADDRESS=""

PROXY_USER="mysql-proxy"

PROXY_OPTIONS="--daemon --log-level=info--log-use-syslog --plugins=proxy --plugins=admin--proxy-backend-addresses=10.0.0.101:3306--proxy-read-only-backend-addresses=10.0.0.15:3306--proxy-lua-script=/usr/lib64/mysql-proxy/lua/proxy/balance.lua"

在ha4上也用相同的方式部署mysql-proxy

LVS的安装

LVS对mysql从服务器进行读操作的负载均衡，对于lvs的高可用，由于keepalived比较轻量级，所以直接使用keepalived来实现，这里keepalived只是为了方便通过启动keepalived应用ipvs规则，所以并直接配置一个keepalived主，然后用RHCS实现keepalived的高可用，而不是keepalived自身的vrrp实现高可用

安装keepalived

yum install keepalived –y

配置文件

cat /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {

notification_email {

root@localhost

}

notification_email_from root

smtp_server127.0.0.1

smtp_connect_timeout 30

router_idLVS_DEVEL

}

vrrp_instance VI_1 {

stateMASTER

interfaceeth0

virtual_router_id 51

priority100

advert_int1

authentication{

auth_type PASS

auth_pass lust

}

virtual_ipaddress {

10.0.0.15

}

virtual_server 10.0.0.15 443 {

delay_loop6

lb_algo wlc

lb_kind DR

nat_mask255.255.255.0

persistence_timeout 50

protocolTCP

real_server10.0.0.21 3306 {

weight1

TCP_CHECK {

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

connect_port 3306

}

real_server10.0.0.22 3306 {

weight 1

TCP_CHECK {

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

connect_port 3306

}

在每个mysql-slave的real服务器创建tc/init.d/rs，内容如下

 
        #!/bin/bash
       
        #
       
        # Script to start LVS DR real server.
       
        # description: LVS DR real server
       
        #
       
        . 
        /etc/rc
        .d
        /init
        .d
        /functions 
       
        VIP=10.0.0.15
       
        host=`
        /bin/hostname
        ` 
       
        case 
        "$1" 
        in 
       
        start)
       
        # StartLVS-DR real server on this machine. 
       
        /sbin/ifconfig 
        lo down 
       
        /sbin/ifconfig 
        lo up 
       
        echo 
        1> 
        /proc/sys/net/ipv4/conf/lo/arp_ignore 
       
        echo 
        2> 
        /proc/sys/net/ipv4/conf/lo/arp_announce 
       
        echo 
        1> 
        /proc/sys/net/ipv4/conf/all/arp_ignore 
       
        echo 
        2> 
        /proc/sys/net/ipv4/conf/all/arp_announce 
       
        /sbin/ifconfig 
        lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up 
       
        /sbin/route 
        add -host $VIP dev lo:0 
       
        ;;
       
        stop)
       
        # StopLVS-DR real server loopback device(s). 
       
        /sbin/ifconfig 
        lo:0 down 
       
        echo 
        0> 
        /proc/sys/net/ipv4/conf/lo/arp_ignore 
       
        echo 
        0> 
        /proc/sys/net/ipv4/conf/lo/arp_announce 
       
        echo 
        0> 
        /proc/sys/net/ipv4/conf/all/arp_ignore 
       
        echo 
        0> 
        /proc/sys/net/ipv4/conf/all/arp_announce 
       
        ;;
       
        status)
       
        #Status of LVS-DR real server. 
       
        islothere=`
        /sbin/ifconfig 
        lo:0 | 
        grep 
        $VIP` 
       
        isrothere=`
        netstat 
        -rn | 
        grep 
        "lo:0" 
        | 
        grep 
        $VIP` 
       
        if 
        [ !
        "$islothere" 
        -o ! 
        "isrothere" 
        ];
        then 
       
        #Either the route or the lo:0 device 
       
        #not found. 
       
        echo 
        "LVS-DR real server Stopped." 
       
        else 
       
        echo 
        "LVS-DR real server Running." 
       
        fi 
       
        ;;
       
        *)
       
        #Invalid entry. 
       
        echo 
        "$0: Usage: $0 {start|status|stop}" 
       
        exit 
        1 
       
        ;;
       
        esac

提供执行权限

chmod +x /etc/init.d/rs

在2台realserver中启动rs

service rs start

至此所有关于RHCS集群的前期工作都准备完毕，接下来开始配置基于RHCS的高可用

RHCS-cluster

在RedHat最新版本的RHCS集群套件中，采用了corosync为底层信息的传递，但cman的机制依然存在，cman现在是以corosync的插件运行，所以service cman start也是可以启动的

编辑ha1-ha4的/etc/hosts文件

ha4主机同时作为luci的跳板机，在ha4上安装luci

yum install luci -y

在ha1,ha2,ha3,ha4三台主机上分别执行

yum install ricci –y

为各节点创建密码

echo 123456 | passwd ricci --stdin

在ha4上启动luci

service luci start

在ha1-4节点上启动ricci

service ricci start

打开luci的管理页面创建mysql集群（帐号为系统root帐号）

https://10.0.0.14:8084

将各个节点加入一个新的集群

创建3个故障转移域（注意点：在故障转移域中，prioritized为1的优先级最高，其次优先级数值越高，优先级越高）

添加2个ip资源，分别为10.0.0.100和10.0.0.101，lvs的ip由keepalived进行自我控制，这里提供一个样例

创建挂载资源

创建mysqld资源

创建mysql-proxy资源

创建lvs资源

创建3个service group

mysql-proxy-ha 包含的资源

ip地址：10.0.0.11

mysql-proxy服务

mysql-m-ha包含的资源

ip地址10.0.0.12

drbd-mount

mysql

mysql-lvs-ha包含的资源

lvs-keepalived

至此配置完成

本文转自lustlost 51CTO博客，原文链接：http://blog.51cto.com/lustlost/1238669，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/472294

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

借助mysql和DNS view实现智能DNS(centos6.3 x64环境)

上次的博文简单使用了BIND的视图功能实现了简单的智能dns，此篇博文结合了mysql实现真正意义上的智能DNS系统需要准备东西首先yum安装mysql。。。 yum install mysql mysql-server mysql-devel 下载bind主程序源码： ftp://ftp.isc.org/isc/bind9/9.8.5-P1/bind-9.8.5-P1.tar.gz 下载bind-sdb驱动： http://nchc.dl.sourceforge.net/project/mysql-bind/mysql-bind/mysql-bind-0.2%20src/mysql-bind.tar.gz 解压: tar xfbind-9.8.5-P1.tar.gz tar xfmysql-bind.tar.gz 编译安装bind 将mysql-sdb的补丁文件拷贝到bind安装源文件目录下 cp mysql-bind/mysqldb.c bind-9.8.5-P1/bin/named/ cp mysql-bind/mysqldb.h bind-9.8.5-P1/bin/name...

2017-11-15

555

Veeam Backup & Replication v7 安装配置手册

Veeam7前不久发布了，首先介绍下Veeam7的7项功能。 07.适用于副本的虚拟实验室<降低风险并投入使用副本> SureReplica不但能够让您自动验证每个副本中的每个还原点，而且适用于副本的虚拟实验室还可以为测试、培训和故障排除目的提供应用对象(U-AIR)和应需沙盒的最快的无代理恢复。 06.增强的一键式文件还原功能<虚拟机和来宾文件的自助恢复> 增强功能能够让用户快速和轻松地还原虚拟机，新的委派选项能够让系统管理员安全地授权业务所有者恢复自己的文件和虚拟机。 05.存档到磁带<完全集成以简化还原> 存档到磁带为Veeam?备份存储设备提供了另一种选择—磁盘、云和现在的磁带。它不但支持独立驱动器、磁带库和虚拟磁带库(VTL)，并且由于完全集成VeeamBackup&Replication?，它还可以跟踪虚拟机和磁带之间的还原点，从而使得还原变得更简单。 04.适用于Hyper-V新功能的虚拟实验室<Veeam将U-AIR、SureBackup和应需沙盒扩展至Hyper-V> 虚拟实验室和vPower技术都可以为...

2017-11-15

643

发表评论

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。