MyCAT枚举分片规则 & childTable

2017-11-23 661

一、MyCAT 简介和原理

MYCAT基于阿里开源的Cobar产品而研发，Cobar的稳定性、可靠性、优秀的架构和性能以及众多成熟的使用案例使得MYCAT一开始就拥有一个很好的起点，站在巨人的肩膀上，我们能看到更远。业界优秀的开源项目和创新思路被广泛融入到MYCAT的基因中，使得MYCAT在很多方面都领先于目前其他一些同类的开源项目，甚至超越某些商业产品。MyCAT作为通用代理设计的，后端是以 Mysql协议和 JDBC 的方式连接数据库，可以支持 Oracle、DB2、SQL Server 、 mongodb、mysql

这里简单分享一下 Mycat 中的概念及配置的相关基础，详细内容可以参考官方文档、 Mycat-Server 和 Get Start

数据库中间件

Mycat 其实只是一个数据中间件，或数据库代理

Tip: 所有难搞定的事情都可以通过中间件有效处理，中间件能有效解耦并专注于特定领域问题， LVM、LVS、MQ 都是这个思路（房屋中介，银行也都是这个思路）

所以Mycat没有存储引擎，本身并不存储数据，只是起到了请求分析，拆解，路由与结果聚合的作用，为前端应用提供统一接口，Mycat 与后端的数据库集群有机组合才一起构成一个分布式数据库系统

逻辑库(schema)

类似于LVM中VG的概念(VG由一个或多个PV构成)，逻辑库是由一个或多个后端数据库构成的，展示给应用的是一个单一视图，是分布式数据库在逻辑上的一个抽象

逻辑表(table)

逻辑表

与数据库中表相对应的，分布式数据表在逻辑上的一个抽象

分片表

数据表切分后的一个部分(原表的一个真子集)

非分片表

没有分片的表，就是非分片表

ER表

保留了实体关系特性的表，就是ER表

关系型数据库是基于实体关系模型的相关理论来构建的数据库，表与表间有依赖关系，通过表分组(Table Group) 让有依赖的表在同一实例库中从而避免了数据Join不会跨库操作

全局表

全局表是所有分片上都有一份完整拷贝的表

字典表或符合字典特性的表可以被设置为全局表

有以下特点的表，被称作字典表：

变动不频繁
数据量总体变化不大
数据规模不大(很少超过十万条记录)
会与其它表发生关联

这类表可以通过冗余来解决join问题，也就是所有的分片都放上一份数据的拷贝来避免跨分片联查

Tip: 数据冗余和表分组是解决跨分片数据join的好思路，也是数据切分规划的重要规则

二、MyCAT使用测试

1、背景：schem.xml文件父表和子表，以及使用枚举分片规则

#vim ./schema.xml

<table name="customer" primaryKey="ID" dataNode="dn1,dn2"

rule="sharding-by-intfile">

<childTable name="orders" primaryKey="ID" joinKey="customer_id"

parentKey="id">

<childTable name="order_items" joinKey="order_id"

parentKey="id" />

</childTable>

<childTable name="customer_addr" primaryKey="ID" joinKey="customer_id"

parentKey="id" />

</table>

#vim ./rule.xml

<rule>

<columns>sharding_id</columns>

</rule>

</tableRule>

<function name="hash-int"

class="io.mycat.route.function.PartitionByFileMap">

<property name="mapFile">partition-hash-int.txt</property>

</function>

#vim partition-hash-int.txt

1=0

2=1

10000=0

10010=1

2、登陆mycat后分别建立对应的表以及插入数据

mycat@TESTDB 08:08:56>show create table customer ;

+----------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

| Table | Create Table |

| customer | CREATE TABLE `customer` (

`SHARDING_ID` int(11) DEFAULT NULL,

`id` int(11) NOT NULL,

`customer_id` int(11) DEFAULT NULL,

`order_id` int(11) DEFAULT NULL,

PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8 |

1 row in set (0.01 sec)

mycat@TESTDB 07:19:09>insert into customer (SHARDING_ID, id ,customer_id,order_id) values (1,1,1,1);

Query OK, 1 rows affected (0.05 sec)

mycat@TESTDB 07:19:09>insert into customer (SHARDING_ID, id ,customer_id,order_id) values (2,2,2,2);

Query OK, 1 rows affected (0.05 sec)

mycat@TESTDB 07:54:27>select * from customer ;

+-------------+----+-------------+----------+

+-------------+----+-------------+----------+

| 2 | 2 | 2 | 2 |

| 1 | 1 | 1 | 1 |

+-------------+----+-------------+----------+

2 rows in set (0.02 sec)

mycat@TESTDB 07:43:10>show create table orders ;

+--------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

| Table | Create Table |

| orders | CREATE TABLE `orders` (

`SHARDING_ID` int(11) DEFAULT NULL,

`id` int(11) NOT NULL,

`customer_id` int(11) DEFAULT NULL,

`customer_name` varchar(10) DEFAULT NULL

) ENGINE=InnoDB DEFAULT CHARSET=utf8 |

1 row in set (0.00 sec)

mycat@TESTDB 07:43:57>insert into orders (SHARDING_ID, id , customer_id ,customer_name) values (1,1,1,'qw');

Query OK, 1 row affected (0.24 sec)

mycat@TESTDB 07:44:39>insert into orders (SHARDING_ID, id , customer_id ,customer_name) values (1,2,1,'qw');

Query OK, 1 row affected (0.25 sec)

mycat@TESTDB 07:44:45>insert into orders (SHARDING_ID, id , customer_id ,customer_name) values (1,3,1,'qw');

Query OK, 1 row affected (0.24 sec)

mycat@TESTDB 07:44:45>insert into orders (SHARDING_ID, id , customer_id ,customer_name) values (1,3,3,'qw');

ERROR 1064 (HY000): can't find (root) parent sharding node for sql:insert into orders(SHARDING_ID,id,customer_id,customer_name) values (1,3,3,'qw')

mycat@TESTDB 07:45:50>select * from orders ;

+-------------+----+-------------+---------------+

+-------------+----+-------------+---------------+

| 2 | 1 | 1 | qw |

| 2 | 2 | 2 | qw |

| 1 | 3 | 2 | qw |

+-------------+----+-------------+---------------+

3 rows in set (0.01 sec)

mycat@TESTDB 07:53:01>show create table order_items;

+-------------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

| Table | Create Table |

+-------------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

| order_items | CREATE TABLE `order_items` (

`SHARDING_ID` int(11) DEFAULT NULL,

`order_id` int(11) DEFAULT NULL,

`order_name` varchar(15) DEFAULT NULL

) ENGINE=InnoDB DEFAULT CHARSET=utf8 |

+-------------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

1 row in set (0.01 sec)

mycat@TESTDB 07:53:59>insert into order_items (SHARDING_ID, order_id ,order_name) values (1,1,'qw');

Query OK, 1 row affected (0.05 sec)

mycat@TESTDB 07:55:17>insert into order_items (SHARDING_ID, order_id ,order_name) values (1,2,'qw');

Query OK, 1 row affected (0.07 sec)

mycat@TESTDB 07:55:30> insert into order_items (SHARDING_ID, order_id ,order_name) values (1,3,'qw');

Query OK, 1 row affected (0.07 sec)

mycat@TESTDB 07:55:52>insert into order_items (SHARDING_ID, order_id ,order_name) values (1,4,'qw');

ERROR 1064 (HY000): can't find (root) parent sharding node for sql:insert into order_items(SHARDING_ID,order_id,order_name) values (1,4,'qw')

mycat@TESTDB 07:56:21>select * from order_items ;

+-------------+----------+------------+

| SHARDING_ID | order_id | order_name |

+-------------+----------+------------+

| 1 | 2 | qw |

| 1 | 3 | qw |

| 1 | 1 | qw |

+-------------+----------+------------+

3 rows in set (0.02 sec)

mycat@TESTDB 08:09:45> show create table customer_addr ;

+---------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

| Table | Create Table |

| customer_addr | CREATE TABLE `customer_addr` (

`SHARDING_ID` int(11) DEFAULT NULL,

`customer_id` int(11) DEFAULT NULL,

`customer_name` varchar(15) DEFAULT NULL

) ENGINE=InnoDB DEFAULT CHARSET=utf8 |

1 row in set (0.01 sec)

mycat@TESTDB 07:57:59>insert into customer_addr (SHARDING_ID, customer_id ,customer_name) values (1,1,'qw');

Query OK, 1 row affected (0.26 sec)

mycat@TESTDB 07:58:28>insert into customer_addr (SHARDING_ID, customer_id ,customer_name) values (1,2,'qw');

Query OK, 1 row affected (0.05 sec)

mycat@TESTDB 07:58:32>insert into customer_addr (SHARDING_ID, customer_id ,customer_name) values (1,3,'qw');

ERROR 1064 (HY000): can't find (root) parent sharding node for sql:insert into customer_addr(SHARDING_ID,customer_id,customer_name) values (1,3,'yue')

mycat@TESTDB 08:04:42>select * from customer_addr;

+-------------+----+-------------+---------------+

+-------------+----+-------------+---------------+

| 1 | 1 | 1 | qw |

| 1 | 2 | 2 | qw |

| 1 | 3 | 2 | qw |

+-------------+----+-------------+---------------+

3 rows in set (0.01 sec)

3、分片表子表配置 childTable标签：

name属性
joinKey属性：插入子表的时候会使用这个列的值查找父表存储的数据节点。
parentKey属性：属性指定的值一般为与父表建立关联关系的列名。程序首先获取joinkey的值，再通过parentKey属性指定的列名产生查询语句，通过执行该语句得到父表存储在哪个分片上。从而确定子表存储的位置。
primaryKey属性：同table标签所描述的。
needAddLimit属性：同table标签所描述的。

总结：子表中的 joinKey="***_id" 字段取值取决于父表 primaryKey="ID"中的值，不然会报错（简单说 joinKey是 primaryKey的外键）

微信关注我们

原文链接：https://yq.aliyun.com/articles/272286

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

开发手记（一）准备新的征途

这个开发手记将是我的项目中的一个真实情况，每天我会利用中午的时间来写，虽然项目已经从去年11月份开始了，但是期间的过程还是有许多可以给大家讲讲的故事，其中可能会涉及到管理，技术或其他的东西，看起来有点像日记的样子，主要让大家了解项目的整个进程中的各个状况。）手头上的项目已经做的差不多了，由于客户那边合并之后，原本期望能够有后续开发也变得遥遥无期。客户合并后的新公司将从新委托IBM尽心开发，但是这个目前的系统还是会在IBM新系统开发完成之前被使用，系统是我在项目接近尾声之后才接手，当时各个方面都给我的讯息是项目已经基本开发结束，我主要负责做个集成工作就好，结果项目的糟糕程度远远超过我的想象，原本计划一个月的集成工作我一做就是半年，半年来除了加班还是加班，这个过程中我都来不及思考问题到底出现在那里，只是希望能够把问题尽快处理掉，尽快给客户提交能够正常运行的系统。项目的问题在开发的后期做了总结，但是会议上说的东西能够在下个项目被注意，使用的到底有多少。或许这些总结也是按照流程完成一个文档，最终也是被尘封在硬盘的某个角落。不管如何，最困难的时期总算过去了，而且客户最终还是决定使用系统，这个...

2017-11-23

615

Mysql在大型网站的应用架构演变

写在最前: 本文主要描述在网站的不同的并发访问量级下，Mysql架构的演变可扩展性架构的可扩展性往往和并发是息息相关，没有并发的增长，也就没有必要做高可扩展性的架构，这里对可扩展性进行简单介绍一下，常用的扩展手段有以下两种Scale-up : 纵向扩展，通过替换为更好的机器和资源来实现伸缩，提升服务能力Scale-out :横向扩展, 通过加节点（机器）来实现伸缩，提升服务能力对于互联网的高并发应用来说，无疑Scale out才是出路，通过纵向的买更高端的机器一直是我们所避讳的问题，也不是长久之计，在scale out的理论下，可扩展性的理想状态是什么？可扩展性的理想状态一个服务，当面临更高的并发的时候，能够通过简单增加机器来提升服务支撑的并发度，且增加机器过程中对线上服务无影响(no down time)，这就是可扩展性的理想状态！架构的演变 V1.0 简单网站架构一个简单的小型网站或者应用背后的架构可以非常简单, 数据存储只需要一个mysql instance就能满足数据读取和写入需求（这里忽略掉了数据备份的实例），处于这个时间段的网站，一般会把所有的信息存到一个da...

2017-11-23

540

发表评论

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

MyCAT枚举分片规则 & childTable

一、MyCAT 简介和原理

数据库中间件

逻辑库(schema)

逻辑表(table)

开发手记（一）准备新的征途

Mysql在大型网站的应用架构演变

相关文章

发表评论

资源下载

Mario

腾讯云软件源

Spring

WebStorm

欢迎您来访！

MyCAT枚举分片规则 &amp; childTable

一、MyCAT 简介和原理

数据库中间件

逻辑库(schema)

逻辑表(table)

开发手记（一）准备新的征途

Mysql在大型网站的应用架构演变

相关文章

发表评论

资源下载

Mario

腾讯云软件源

Spring

WebStorm

欢迎您来访！

MyCAT枚举分片规则 & childTable