首页 文章 精选 留言 我的

MyCAT枚举分片规则 & childTable

2017-11-23 613

一、MyCAT 简介和原理

  MYCAT基于阿里开源的Cobar产品而研发，Cobar的稳定性、可靠性、优秀的架构和性能以及众多成熟的使用案例使得MYCAT一开始就拥有一个很好的起点，站在巨人的肩膀上，我们能看到更远。业界优秀的开源项目和创新思路被广泛融入到MYCAT的基因中，使得MYCAT在很多方面都领先于目前其他一些同类的开源项目，甚至超越某些商业产品。MyCAT作为通用代理设计的，后端是以 Mysql协议 和 JDBC 的方式连接数据库，可以支持 Oracle、DB2、SQL Server 、 mongodb、mysql

这里简单分享一下  Mycat  中的概念及配置的相关基础 ，详细内容可以参考  官方文档  、  Mycat-Server  和  Get Start

数据库中间件

Mycat 其实只是一个数据中间件，或数据库代理
Tip:  所有难搞定的事情都可以通过中间件有效处理，中间件能有效解耦并专注于特定领域问题， LVM、LVS、MQ  都是这个思路（房屋中介，银行也都是这个思路）
所以Mycat没有存储引擎，本身并不存储数据，只是起到了请求分析，拆解，路由与结果聚合的作用，为前端应用提供统一接口，Mycat 与后端的数据库集群有机组合才一起构成一个分布式数据库系统

逻辑库(schema)

类似于LVM中VG的概念(VG由一个或多个PV构成)，逻辑库是由一个或多个后端数据库构成的，展示给应用的是一个单一视图，是分布式数据库在逻辑上的一个抽象

逻辑表(table)

  • 逻辑表
与数据库中表相对应的，分布式数据表在逻辑上的一个抽象
  • 分片表
数据表切分后的一个部分(原表的一个真子集)
  • 非分片表
没有分片的表，就是非分片表
  • ER表
保留了实体关系特性的表，就是ER表
关系型数据库是基于实体关系模型的相关理论来构建的数据库，表与表间有依赖关系，通过表分组(Table Group) 让有依赖的表在同一实例库中从而避免了数据Join不会跨库操作
  • 全局表
全局表是所有分片上都有一份完整拷贝的表
字典表或符合字典特性的表可以被设置为全局表
有以下特点的表，被称作字典表：
  • 变动不频繁
  • 数据量总体变化不大
  • 数据规模不大(很少超过十万条记录)
  • 会与其它表发生关联
这类表可以通过冗余来解决join问题，也就是所有的分片都放上一份数据的拷贝来避免跨分片联查
Tip:  数据冗余和表分组是解决跨分片数据join的好思路，也是数据切分规划的重要规则

二、MyCAT使用测试

1、背景：schem.xml文件父表和子表，以及使用枚举分片规则
    #vim ./schema.xml    
          
                    <table name="customer" primaryKey="ID" dataNode="dn1,dn2"
                           rule="sharding-by-intfile">
                        <childTable name="orders" primaryKey="ID" joinKey="customer_id"
                                                parentKey="id">
                                <childTable name="order_items" joinKey="order_id"
                                                        parentKey="id" />
                        </childTable>
                        <childTable name="customer_addr" primaryKey="ID" joinKey="customer_id"
                                                parentKey="id" />
                </table>

     #vim ./rule.xml
                                   <tableRule name="sharding-by-intfile">
                                                    <rule>
                                                            <columns>sharding_id</columns>
                                                            <algorithm>hash-int</algorithm>
                                                    </rule>
                                  </tableRule>
                                 <function name="hash-int"
                                                    class="io.mycat.route.function.PartitionByFileMap">
                                                    <property name="mapFile">partition-hash-int.txt</property>
                                </function>
     #vim partition-hash-int.txt
                                 1=0
                                 2=1
                                 10000=0
                                 10010=1

2、登陆mycat后分别建立对应的表以及插入数据
mycat@TESTDB 08:08:56>show create table customer ;
+----------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table    | Create Table                                                                                                                                                                                                                |
+----------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| customer | CREATE TABLE `customer` (
  `SHARDING_ID` int(11) DEFAULT NULL,
  `id` int(11) NOT NULL,
  `customer_id` int(11) DEFAULT NULL,
  `order_id` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 |
+----------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.01 sec)

mycat@TESTDB 07:19:09>insert into customer (SHARDING_ID, id ,customer_id,order_id) values (1,1,1,1);
Query OK, 1 rows affected (0.05 sec)

mycat@TESTDB 07:19:09>insert into customer (SHARDING_ID, id ,customer_id,order_id) values  (2,2,2,2);
Query OK, 1 rows affected (0.05 sec)

mycat@TESTDB 07:54:27>select * from customer ;
+-------------+----+-------------+----------+
| SHARDING_ID | id | customer_id | order_id |
+-------------+----+-------------+----------+
|           2 |  2 |           2 |        2 |
|           1 |  1 |           1 |        1 |
+-------------+----+-------------+----------+
2 rows in set (0.02 sec)

mycat@TESTDB 07:43:10>show create table orders ;
+--------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table  | Create Table                                                                                                                                                                                                 |
+--------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| orders | CREATE TABLE `orders` (
  `SHARDING_ID` int(11) DEFAULT NULL,
  `id` int(11) NOT NULL,
  `customer_id` int(11) DEFAULT NULL,
  `customer_name` varchar(10) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8 |
+--------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)
    
mycat@TESTDB 07:43:57>insert into orders (SHARDING_ID, id , customer_id ,customer_name) values (1,1,1,'qw');
Query OK, 1 row affected (0.24 sec)

mycat@TESTDB 07:44:39>insert into orders (SHARDING_ID, id , customer_id ,customer_name) values (1,2,1,'qw');
Query OK, 1 row affected (0.25 sec)

mycat@TESTDB 07:44:45>insert into orders (SHARDING_ID, id , customer_id ,customer_name) values (1,3,1,'qw');
Query OK, 1 row affected (0.24 sec)

mycat@TESTDB 07:44:45>insert into orders (SHARDING_ID, id , customer_id ,customer_name) values (1,3,3,'qw');
ERROR 1064 (HY000): can't find (root) parent sharding node for sql:insert into orders(SHARDING_ID,id,customer_id,customer_name) values (1,3,3,'qw')

mycat@TESTDB 07:45:50>select * from orders ;
+-------------+----+-------------+---------------+
| SHARDING_ID | id | customer_id | customer_name |
+-------------+----+-------------+---------------+
|                    2 |  1 |                 1 | qw           |
|                    2 |  2 |                 2 | qw           |
|                    1 |  3 |                 2 | qw           |
+-------------+----+-------------+---------------+
3 rows in set (0.01 sec)

mycat@TESTDB 07:53:01>show create table order_items;
+-------------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table       | Create Table                                                                                                                                                                       |
+-------------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| order_items | CREATE TABLE `order_items` (
  `SHARDING_ID` int(11) DEFAULT NULL,
  `order_id` int(11) DEFAULT NULL,
  `order_name` varchar(15) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8 |
+-------------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.01 sec)

mycat@TESTDB 07:53:59>insert into order_items (SHARDING_ID, order_id ,order_name) values (1,1,'qw');
Query OK, 1 row affected (0.05 sec)

mycat@TESTDB 07:55:17>insert into order_items (SHARDING_ID, order_id ,order_name) values (1,2,'qw');
Query OK, 1 row affected (0.07 sec)

mycat@TESTDB 07:55:30> insert into order_items (SHARDING_ID, order_id ,order_name) values (1,3,'qw');
Query OK, 1 row affected (0.07 sec)

mycat@TESTDB 07:55:52>insert into order_items (SHARDING_ID, order_id ,order_name) values (1,4,'qw');
ERROR 1064 (HY000): can't find (root) parent sharding node for sql:insert into order_items(SHARDING_ID,order_id,order_name) values (1,4,'qw')

mycat@TESTDB 07:56:21>select * from order_items ;
+-------------+----------+------------+
| SHARDING_ID | order_id | order_name |
+-------------+----------+------------+
|                1 |               2 | qw        |
|                1 |               3 | qw        |
|                1 |               1 | qw        |
+-------------+----------+------------+
3 rows in set (0.02 sec)

mycat@TESTDB 08:09:45> show create table customer_addr ;
+---------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table         | Create Table                                                                                                                                                                               |
+---------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| customer_addr | CREATE TABLE `customer_addr` (
  `SHARDING_ID` int(11) DEFAULT NULL,
  `customer_id` int(11) DEFAULT NULL,
  `customer_name` varchar(15) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8 |
+---------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.01 sec)

mycat@TESTDB 07:57:59>insert into customer_addr (SHARDING_ID, customer_id ,customer_name) values (1,1,'qw');
Query OK, 1 row affected (0.26 sec)

mycat@TESTDB 07:58:28>insert into customer_addr (SHARDING_ID, customer_id ,customer_name) values (1,2,'qw');
Query OK, 1 row affected (0.05 sec)

mycat@TESTDB 07:58:32>insert into customer_addr (SHARDING_ID, customer_id ,customer_name) values (1,3,'qw');
ERROR 1064 (HY000): can't find (root) parent sharding node for sql:insert into customer_addr(SHARDING_ID,customer_id,customer_name) values (1,3,'yue')

mycat@TESTDB 08:04:42>select * from customer_addr;
+-------------+----+-------------+---------------+
| SHARDING_ID | id | customer_id | customer_name |
+-------------+----+-------------+---------------+
|           1 |  1 |           1 | qw            |
|           1 |  2 |           2 | qw            |
|           1 |  3 |           2 | qw            |
+-------------+----+-------------+---------------+
3 rows in set (0.01 sec)


3、分片表子表配置 childTable标签：
20160224092521012
  1. name属性
  2. joinKey属性：插入子表的时候会使用这个列的值查找父表存储的数据节点。
  3. parentKey属性：属性指定的值一般为与父表建立关联关系的列名。程序首先获取joinkey的值，再通过parentKey属性指定的列名产生查询语句，通过执行该语句得到父表存储在哪个分片上。从而确定子表存储的位置。
  4. primaryKey属性：同table标签所描述的。
  5. needAddLimit属性：同table标签所描述的。
总结：子表中的 joinKey="***_id" 字段取值取决于父表 primaryKey="ID"中的值，不然会报错（简单说 joinKey是 primaryKey的外键 ）
上一篇 下一篇
优秀的个人博客,低调大师

微信关注我们

原文链接：https://yq.aliyun.com/articles/272286

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

开发手记（一）准备新的征途

这个开发手记将是我的项目中的一个真实情况，每天我会利用中午的时间来写，虽然项目已经从去年11月份开始了，但是期间的过程还是有许多可以给大家讲讲的故事，其中可能会涉及到管理，技术或其他的东西，看起来有点像日记的样子，主要让大家了解项目的整个进程中的各个状况。） 手头上的项目已经做的差不多了，由于客户那边合并之后，原本期望能够有后续开发也变得遥遥无期。客户合并后的新公司将从新委托IBM尽心开发，但是这个目前的系统还是会在IBM新系统开发完成之前被使用，系统是我在项目接近尾声之后才接手，当时各个方面都给我的讯息是项目已经基本开发结束，我主要负责做个集成工作就好，结果项目的糟糕程度远远超过我的想象，原本计划一个月的集成工作我一做就是半年，半年来除了加班还是加班，这个过程中我都来不及思考问题到底出现在那里，只是希望能够把问题尽快处理掉，尽快给客户提交能够正常运行的系统。项目的问题在开发的后期做了总结，但是会议上说的东西能够在下个项目被注意，使用的到底有多少。或许这些总结也是按照流程完成一个文档，最终也是被尘封在硬盘的某个角落。 不管如何，最困难的时期总算过去了，而且客户最终还是决定使用系统，这个...
2017-11-24
561
上一篇

Mysql在大型网站的应用架构演变

写在最前: 本文主要描述在网站的不同的并发访问量级下，Mysql架构的演变 可扩展性 架构的可扩展性往往和并发是息息相关，没有并发的增长，也就没有必要做高可扩展性的架构，这里对可扩展性进行简单介绍一下，常用的扩展手段有以下两种Scale-up : 纵向扩展，通过替换为更好的机器和资源来实现伸缩，提升服务能力Scale-out :横向扩展, 通过加节点（机器）来实现伸缩，提升服务能力对于互联网的高并发应用来说，无疑Scale out才是出路，通过纵向的买更高端的机器一直是我们所避讳的问题，也不是长久之计，在scale out的理论下，可扩展性的理想状态是什么？ 可扩展性的理想状态 一个服务，当面临更高的并发的时候，能够通过简单增加机器来提升服务支撑的并发度，且增加机器过程中对线上服务无影响(no down time)，这就是可扩展性的理想状态！ 架构的演变 V1.0 简单网站架构 一个简单的小型网站或者应用背后的架构可以非常简单, 数据存储只需要一个mysql instance就能满足数据读取和写入需求（这里忽略掉了数据备份的实例），处于这个时间段的网站，一般会把所有的信息存到一个da...
2017-11-24
495
下一篇

相关文章

发表评论

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2025-12-28 大小: 1MB 下载: 4次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2025-12-21 大小: 189MB 下载: 2次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-01-03 大小: 1.42GB 下载: 2次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
手机查看

扫码在手机上查看文章

扫描二维码，手机阅读更方便

热门标签
Rocky Docker Service Mesh SpringCloud OpenAi Nacos3 Redis Jdk25 HarmonyOS6 Gemini3 Kubernetes DeepSeek SpringBoot4

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册