MySQL多数据源笔记4-Mycat中间件实战-低调大师

MySQL多数据源笔记4-Mycat中间件实战

2018-03-17 491

Mycat 是数据库中间件，就是介于数据库与应用之间，进行数据处理与交互的中间服务。由于前面讲的对数据进行分片处理之后，从原有的一个库，被切分为多个分片数据库，所有的分片数据库集群构成了整个完整的数据库存储。

如下图：

如上图所表示，数据被分到多个分片数据库后，应用如果需要读取数据，就要需要处理多个数据源的数据。

如果没有数据库中间件，那么应用将直接面对分片集群，数据源切换、事务处理、数据聚合都需要应用直接处理，原本该是专注于业务的应用，将会花大量的工作来处理分片后的问题，最重要的是每个应用处理将是完全的重复造轮子。

所以有了数据库中间件，应用只需要集中与业务处理，大量的通用的数据聚合，事务，数据源切换都由中间件来处理，中间件的性能与处理能力将直接决定应用的读写性能，所以一款好的数据库中间件至关重要。

第一部MyCat的环境搭建。

首先去官网下载MyCat，官网地址为：dl.mycat.io

注意必须下载发行版，也就是说带有RELEASE字眼的就是发行版，BETA是测试版。选择windows版本来学习即可。

我们主要关注的是MyCat的conf目录如下图：

我们打开schema.xml文件中看一下里面的配置都是些什么意思：配置文件如下：

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
        <!-- auto sharding by id (long) -->
        <table name="travelrecord" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />

        <!-- global table is auto cloned to all defined data nodes ,so can join
            with any table whose sharding node is in the same data node -->
        <table name="company" primaryKey="ID" type="global" dataNode="dn1,dn2,dn3" />
        <table name="goods" primaryKey="ID" type="global" dataNode="dn1,dn2" />
        <!-- random sharding using mod sharind rule -->
        <table name="hotnews" primaryKey="ID" autoIncrement="true" dataNode="dn1,dn2,dn3"
               rule="mod-long" />
        <!-- <table name="dual" primaryKey="ID" dataNode="dnx,dnoracle2" type="global"
            needAddLimit="false"/> <table name="worker" primaryKey="ID" dataNode="jdbc_dn1,jdbc_dn2,jdbc_dn3"
            rule="mod-long" /> -->
        <table name="employee" primaryKey="ID" dataNode="dn1,dn2"
               rule="sharding-by-intfile" />
        <table name="customer" primaryKey="ID" dataNode="dn1,dn2"
               rule="sharding-by-intfile">
            <childTable name="orders" primaryKey="ID" joinKey="customer_id"
                        parentKey="id">
                <childTable name="order_items" joinKey="order_id"
                            parentKey="id" />
            </childTable>
            <childTable name="customer_addr" primaryKey="ID" joinKey="customer_id"
                        parentKey="id" />
        </table>
        <!-- <table name="oc_call" primaryKey="ID" dataNode="dn1$0-743" rule="latest-month-calldate"
            /> -->
    </schema>
    <!-- <dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743"
        /> -->
    <dataNode name="dn1" dataHost="localhost1" database="db1" />
    <dataNode name="dn2" dataHost="localhost1" database="db2" />
    <dataNode name="dn3" dataHost="localhost1" database="db3" />
    <!--<dataNode name="dn4" dataHost="sequoiadb1" database="SAMPLE" />
     <dataNode name="jdbc_dn1" dataHost="jdbchost" database="db1" />
    <dataNode    name="jdbc_dn2" dataHost="jdbchost" database="db2" />
    <dataNode name="jdbc_dn3"     dataHost="jdbchost" database="db3" /> -->
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <!-- can have multi write hosts -->
        <writeHost host="hostM1" url="localhost:3306" user="root"
                   password="123456">
            <!-- can have multi read hosts -->
            <readHost host="hostS2" url="192.168.1.200:3306" user="root" password="xxx" />
        </writeHost>
        <writeHost host="hostS1" url="localhost:3316" user="root"
                   password="123456" />
        <!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> -->
    </dataHost>
    <!--
        <dataHost name="sequoiadb1" maxCon="1000" minCon="1" balance="0" dbType="sequoiadb" dbDriver="jdbc">
        <heartbeat>         </heartbeat>
         <writeHost host="hostM1" url="sequoiadb://1426587161.dbaas.sequoialab.net:11920/SAMPLE" user="jifeng"     password="jifeng"></writeHost>
         </dataHost>

      <dataHost name="oracle1" maxCon="1000" minCon="1" balance="0" writeType="0"     dbType="oracle" dbDriver="jdbc"> <heartbeat>select 1 from dual</heartbeat>
        <connectionInitSql>alter session set nls_date_format='yyyy-mm-dd hh24:mi:ss'</connectionInitSql>
        <writeHost host="hostM1" url="jdbc:oracle:thin:@127.0.0.1:1521:nange" user="base"     password="123456" > </writeHost> </dataHost>

        <dataHost name="jdbchost" maxCon="1000"     minCon="1" balance="0" writeType="0" dbType="mongodb" dbDriver="jdbc">
        <heartbeat>select     user()</heartbeat>
        <writeHost host="hostM" url="mongodb://192.168.0.99/test" user="admin" password="123456" ></writeHost> </dataHost>

        <dataHost name="sparksql" maxCon="1000" minCon="1" balance="0" dbType="spark" dbDriver="jdbc">
        <heartbeat> </heartbeat>
         <writeHost host="hostM1" url="jdbc:hive2://feng01:10000" user="jifeng"     password="jifeng"></writeHost> </dataHost> -->

    <!-- <dataHost name="jdbchost" maxCon="1000" minCon="10" balance="0" dbType="mysql"
        dbDriver="jdbc"> <heartbeat>select user()</heartbeat> <writeHost host="hostM1"
        url="jdbc:mysql://localhost:3306" user="root" password="123456"> </writeHost>
        </dataHost> -->
</mycat:schema>

schema 标签用于定义 MyCat 实例中的逻辑库，MyCat 可以有多个逻辑库，每个逻辑库都有自己的相关配置。可以使用 schema 标签来划分这些不同的逻辑库。如果不配置 schema 标签，所有的表配置，会属于同一个默认的逻辑库。

对于我们开发人员来说，我们知道连接到mycat的逻辑库，后面拖着多少个MySQL我们不管的，我们只需要连接到MyCat这个逻辑库，对于后面的分库分表，MyCat给我们屏蔽了分库分表的复杂性。

table 标签定义了 MyCat 中的逻辑表，所有需要拆分的表都需要在这个标签中定义。

　　　　table标签里面的子标签childTabel表示这个表跟父table分在一起，不会被拆散，也就是前面所说的分库分表之前，要考虑好表的关联，不然否则就面临跨库Join连接问题。

　　　　如下代码：

<table name="customer" primaryKey="ID" dataNode="dn1,dn2"
               rule="sharding-by-intfile">
            <childTable name="orders" primaryKey="ID" joinKey="customer_id"
                        parentKey="id">
                <childTable name="order_items" joinKey="order_id"
                            parentKey="id" />
            </childTable>
            <childTable name="customer_addr" primaryKey="ID" joinKey="customer_id"
                        parentKey="id" />
        </table>

　　　　table中的type属性的global表示该表为全局表。即前面所提到每一个节点可以读到这个表，这对是否在分库分表中的join查询很关键。而且这属性表示不会进行分片，即全局表使用，每个节点都有。代码如下：

<table name="goods" primaryKey="ID" type="global" dataNode="dn1,dn2" />

　　　　table中的dataNode属性表示你要分片，要分到那几个节点上去，rule代表着分库分表的规则。他的分片分表规则在rule.xml文件中，你可以在Table标签的rule属性设置复合

　　　　自己的分片分表规则，都在rule.xml中对应着如下图：

　<dataNode>标签，标签中的name属性表示节点的名字。dataHost属性表示对应MySQL的数据库连接，database属性表示Mysql数据库名，代码如下：

<dataNode name="dn1" dataHost="localhost1" database="db1" />

<dataHost>标签节点表示对应MySQL的数据库连接对应配置，什么最大连接数，最小连接数之类的属性。

<dataHost>标签中的子标签<hearbeat>表示存活检测，

<dataHost>标签中的子标签<writeHost>和<readHost>表示MySQL中的读写分离，而<writeHost>子标签中还有<readHost>子标签，表示写操作的数据库还要承担一部分读库的压力。

代码如下：

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <!-- can have multi write hosts -->
        <writeHost host="hostM1" url="localhost:3306" user="root"
                   password="123456">
            <!-- can have multi read hosts -->
            <readHost host="hostS2" url="192.168.1.200:3306" user="root" password="xxx" />
        </writeHost>
        <writeHost host="hostS1" url="localhost:3316" user="root"
                   password="123456" />
        <!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> -->
    </dataHost>

下面进行读写分离的演示：

　　第一步先注释schma里面的配置如下图：

接着在修改<dataNode>，<dataHost>节点信息，详细信息在图中说明。如下图：

接着再还要修改mycat中server.xml文件，我这里没有使用zookeeper所以要把zookeeper协调切换关闭。因为我们只是在本地玩，如下图：

接着在继续修改server.xml文件。如下图：

接着就是启动了，启动之前要进行环境变量设置如下：

接着就是设置一起启动参数了，在startup_newrap.bat文件中修改如下图：

接着就是启动了，如下：

接着就是用图形化工具连接MyCat了。如下图：

接着自己在图形化界面中修改数据库，这里就不演示了。如下：

接着mycat进行分库分表演示：

注意一定要在每一个mysql中建立好tabel标签对应的travelrecord表，而表中必须要有id这属性，

如下图：

注意一定要在每一个mysql中建立好tabel标签对应的travelrecord表，而表中必须要有id这属性，因为上面的分库分表策略是根据id分的，在rule.xml中找到分表策略如下：

在根据rang-long在rule.xml找到对应的function，如下图：

在找到autoparitition-long.txt文件，看到如下分库分表了，如下图：

然后在分别对应修改dataNode和dataHost标签，如下图：

最后进行分库分表测试

比如490M=4900000分到第0个节点，在mycat总设置，如下图：

接着去查看第0个节点会有一条数据分到这里，其他节点没有。

如果使用上面的分库分表策略不能超过范autoparitition-long.txt里面配置的范围的。

其他的分配策略，还可以用CRC32slot策略类似于redis集群中的Slot,如下：

还可以用rang-mod求模来分，如下：

然后找partition-range-mod.txt，可以具体，如下：

其他就不演示了。

微信关注我们

原文链接：https://yq.aliyun.com/articles/600729

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

微服务与Spring Cloud

微服务是继SOA之后流行起来的一种系统架构模式。因它紧随SOA之后，所以有必要对他们先作个比较。 SOA vs 微服务关于二者的比较表格，我在谷歌上搜索的一篇文章分析的挺好，现引用如下。面向服务架构微服务架构出现于1990's年代出现于2000's年代最大化应用服务的重用性关注解耦系统变化需要修改整体系统变化是创建新服务 DevOps和持续发布开始变得流行但不是主流重点关注DevOps和持续发布聚焦于业务系统重用 “边界上下文”越发重要使用ESB通信使用简单消息系统通信支持多种消息协议使用轻量级协议诸如：HTTP, REST等对部署在其上的所有服务使用通用平台通常使用云平台而非应用服务器 Docker不太流行容器与微服务工作的非常协调 SOA服务共享数据存储每个微服务可以拥有独立的存储服务通用的治理和标准松散治理，关注团队协作与自由选择微服务微服务这么流行，肯定有其优势所在。不过也不能不看到它的劣势噢。优势每个模块都是独立的，所以你可以选择不同的开发语言以获得语言级别的好处每个模块都可以有自己的数据库，NoSQL或者关系型开发人员构...

2018-03-17

612

出自：http://codebay.cn/post/8033.html 当我跟村里人提起我是IT工程师时他们内心是这样想的 ▼ 也有的朋友这样想 ▼ 爸爸问我，什么狮? ▼ 妈妈问我，工什么? ▼ 我说，就是客户执行主任爸妈说，孩子出息了，都当主任了! ▼ 别人认为IT工程师是这样 ▼ 其实一般是这样 ▼ 讲方案的时候以为自己是这样 ▼ 结果客户在下面这样 ▼ 本以为和客户的关系是这样的 ▼ 结果发现其实是这样 ▼ 我以为客户需求是这样 ▼ 其实客户的需求是这样 ▼ 当我看到自己的CAD制图以后 ▼ 当甲方看到了我们的制图时 ▼ 合同上面写的付款速度 ▼ 实际上的付款速度 ▼ 别人以为我赚钱多成这样 ▼ 其实我主要是这样 ▼ 虽然我的生活通常是这样的 ▼ 但是我也有这样的梦想 ▼ 开个玩笑虽然经常被种种调侃但我依然对这个行业爱的深沉我身边还有一群这样的可爱的IT人用自己的青春和对IT行业的热情把原本冰冷的机器、市场做的如此性感、有温度让这个行业散发着诱人的魅力我是IT人，我为自己代言推荐阅读推荐：成为架构师的十阶段学习资料长按关注，更多精彩！

2018-03-18

628

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。