每日一博 | MyCat 数据库的基础配置及使用-低调大师

每日一博 | MyCat 数据库的基础配置及使用

2019-09-13 618

一、为什么需要分布式数据据库

随着计算机和信息技术的迅猛发展，行业应用系统的规模迅速扩大，行业应用所产生的数据量呈爆炸式增长，动辄达到数百TB甚至数百PB的规模，已远远超出传统计算技术和信息系统的处理能力，集中式数据库面对大规模数据处理逐渐表现出其局限性。因此，人们希望寻找一种能快速处理数据和及时响应用户访问的方法，也希望对数据进行集中分析、管理和维护。这已经成为迫切需求。

分布式数据库是在集中式数据库的基础上发展起来的，是计算机技术和网络技术结合的产物。分布式数据库是指数据在物理上分布而在逻辑上集中管理的数据库系统。物理上分布是指数据分布在物理位置不同并由网络连接的节点或站点上;逻辑上集中是指各数据库节点之间的逻辑上是一个整体，并由统一的数据库管理系统管理。不同的节点分布可以跨不同的机房、城市甚至国家。

二、分布式数据库的特点

分布式数据库具有透明性、数据冗余性、易于扩展性、自治性等特点，还具有经济、性能优越、响应速度更快、灵活的体系结构、易于集成现有系统等特点。

分布式数据库尽管有着天生的高贵血统，但它依赖调整网络，对事务的处理远没有传统数据库成熟，在很长一段时间内分布式数据存储将与传统数据存储共存。

三、MyCat数据库中间件简介

MyCat是一个彻底开源的面向企业应用开发的大数据库集群，支持事务、ACID，是可以替代MySQL的加强版数据库。MyCat被视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群，它是整合了内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server，是结合了传统数据库和新型分布式数据仓库的新一代企业级数据库产品，也是一个优秀的数据库中间件。

MyCat是通过Cobar改良而生。MyCat支持Oracle、PostgreSQL，从1.3版本开始支持NoSQL（SequoiaDB及MongoDB）并引入了Druid解析器。2016年MyCat发布了1.5版本，2018年发布了 1.6.6版本。目前MyCat2.0项目已经启动，核心代码已经提交（https://github.com/MyCatApache/MyCat2.git）。

四、MyCat核心概念详解

4.1 逻辑库（schema）

通常在实际应用中，业务开发人员并不需要知道中间件的存在，只需要关注数据库，所以数据库中间件可以被当作一个或多个数据库集群构成的逻辑库。

4.2 逻辑表（table）

既然有逻辑库，就会有逻辑表。在分布式数据库中，对于应用来说，读写数据的表就是逻辑表。逻辑表可以分布在一个或多个分片库中，也可以不分片。

1）分片表

分片表是指将数据量很大的表切分到多个数据库实例中，所有分片组合起来构成了一张完整的表。例如在MyCat上配置t_node的分片表，数据按照规则被切分到dn1、dn2两个节点。

<table name=”t_node” primaryKey=”vid” autoIncrement=”true” dataNode=”nd1,dn2” rule=”rule1” />

2）非分片表

并非所有的表在数量很大时都需要进行分片。非分片表是相对分片表而言的，不需要进行数据切分的表。如下面配置中的t_node只存在于节点dn1上。

<table name=”t_node” primaryKey=”vid” autoIncrement=”true” dataNode=”dn1” />

3）ER表

关系型数据库是基于实体关系模型（Entity Relationship Model）的，MyCat中的ER表便来源于此。基于此思想，MyCat提出了基于E-R关系的数据分片策略，子表的记录与其所关联的父表的记录存放在同一个数据分片上，即子表依赖于父表，通过表分组（Table Group）保证数据关联查询不会跨库操作。

表分组是解决跨分片数据关联查询的一种很好的思路，也是数据切分的一条重要规则。

4）全局表

在一个真实的业务场景中往往存在大量类似的字典表，这些字典表中的数据变动不频繁，而且数据规模不大，很少有超过数十万条的记录。

当业务表因为规模进行分片后，业务表与这些附属的字典表之间的关联查询就成了比较棘手的问题，所以在MyCat中通过数据冗余来解决这类表的关联查询，即所有分片都复制了一份数据，我们把这些冗余数据的表定义为全局表。

数据冗余是解决跨分片数据关联查询的一种很好的思路，也是数据切分规划的另一条重要规则。

4.3 分片节点（dataNode）

将数据切分后，一个大表被分到不同的分片数据库上，每个表分片所在的数据库是分片节点。

4.4 节点主机（dataHost）

将数据切分后，每个分片节点不一定会独占一台机器，同一台机器上可以有多个分片数据库，这样一个或多个分片节点所在的机器就是节点主机。为了规避单节点主机并发数量的限制，尽量将读写压力高的分片节点均匀地放在不同的节点主机上。

五、MyCat原理介绍

MyCat原理中最重要的一个动词是“拦截”，它拦截了用户发送过来的SQL语句，首先对SQL语句做了一些特定的分析，例如分片分析、路由分析、读写分离分析、缓存分析等，然后将此SQL语句发往后端的真实数据库，并将返回的结果做适当的处理，最终再返回给用户。

MyCat收到一条SQL语句时，首先解析SQL语句涉及的表，接着查看此表的定义，如果该表存在分片规则，则获取SQL语句里分片字段的值，并匹配分片函数，得到该SQL语句对应的分片列表，然后将SQL语句发送到相应的分片去执行，最后处理所有分片返回的数据并返回给客户端。

六、MyCat配置

schema.xml是MyCat的重要配置文件，它管理着逻辑库、分片表、分片节点和分片主机等信息。

service.xml是系统参数的配置文件，掌握MyCat优化方法，必需熟悉该文件的配置项。

sequence是全局序列的配置文件。

6.1 server.xml配置文件

server.xml配置文件包含了MyCat的系统配置信息，对应的源码是SystemConfig.java。它有两个重要的标签，分别是user、system。掌握system标签的各项配置属性是MyCat调优的关键。

<MyCat:server xmlns:MyCat="http://io.MyCat/">
	<system>
	<property name="nonePasswordLogin">0</property> <!-- 0为需要密码登陆、1为不需要密码登陆 ,默认为0，设置为1则需要指定默认账户-->
	<property name="useHandshakeV10">1</property>
	<property name="useSqlStat">0</property>  <!-- 1为开启实时统计、0为关闭 -->
	<property name="useGlobleTableCheck">0</property>  <!-- 1为开启全加班一致性检测、0为关闭 -->

		<property name="sequnceHandlerType">2</property>
	<property name="subqueryRelationshipCheck">false</property> <!-- 子查询中存在关联查询的情况下,检查关联字段中是否有分片字段 .默认 false -->
      <!--  <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议-->
        <!--  <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号-->
	<!-- <property name="processorBufferChunk">40960</property> -->
	<!-- 
	<property name="processors">1</property> 
	<property name="processorExecutor">32</property> 
	 -->
        <!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena | type 2 NettyBufferPool -->
		<property name="processorBufferPoolType">0</property>
		<!--默认是65535 64K 用于sql解析时最大文本长度 -->
		<!--<property name="maxStringLiteralLength">65535</property>-->
		<!--<property name="sequnceHandlerType">0</property>-->
		<!--<property name="backSocketNoDelay">1</property>-->
		<!--<property name="frontSocketNoDelay">1</property>-->
		<!--<property name="processorExecutor">16</property>-->
		<!--
			<property name="serverPort">8066</property> <property name="managerPort">9066</property> 
			<property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property> 
			<property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
		<!--分布式事务开关，0为不过滤分布式事务，1为过滤分布式事务（如果分布式事务内只涉及全局表，则不过滤），2为不过滤分布式事务,但是记录分布式事务日志-->
		<property name="handleDistributedTransactions">0</property>
		
			<!--
			off heap for merge/order/group/limit      1开启   0关闭
		-->
		<property name="useOffHeapForMerge">1</property>

		<!--
			单位为m
		-->
        <property name="memoryPageSize">64k</property>

		<!--
			单位为k
		-->
		<property name="spillsFileBufferSize">1k</property>

		<property name="useStreamOutput">0</property>

		<!--
			单位为m
		-->
		<property name="systemReserveMemorySize">384m</property>


		<!--是否采用zookeeper协调切换  -->
		<property name="useZKSwitch">false</property>

		<!-- XA Recovery Log日志路径 -->
		<!--<property name="XARecoveryLogBaseDir">./</property>-->

		<!-- XA Recovery Log日志名称 -->
		<!--<property name="XARecoveryLogBaseName">tmlog</property>-->
		<!--如果为 true的话 严格遵守隔离级别,不会在仅仅只有select语句的时候在事务中切换连接-->
		<property name="strictTxIsolation">false</property>
		
		<property name="useZKSwitch">true</property>
		
	</system>
	
	<!-- 全局SQL防火墙设置 -->
	<!--白名单可以使用通配符%或着*-->
	<!--例如<host host="127.0.0.*" user="root"/>-->
	<!--例如<host host="127.0.*" user="root"/>-->
	<!--例如<host host="127.*" user="root"/>-->
	<!--例如<host host="1*7.*" user="root"/>-->
	<!--这些配置情况下对于127.0.0.1都能以root账户登录-->
	<!--
	<firewall>
	   <whitehost>
	      <host host="1*7.0.0.*" user="root"/>
	   </whitehost>
       <blacklist check="false">
       </blacklist>
	</firewall>
	-->

	<user name="root" defaultAccount="true">
		<property name="password">123456</property>
		<property name="schemas">TESTDB</property>
		
		<!-- 表级 DML 权限设置 -->
		<!-- 		
		<privileges check="false">
			<schema name="TESTDB" dml="0110" >
				<table name="tb01" dml="0000"></table>
				<table name="tb02" dml="1111"></table>
			</schema>
		</privileges>		
		 -->
	</user>

	<user name="user">
		<property name="password">user</property>
		<property name="schemas">TESTDB</property>
		<property name="readOnly">true</property>
	</user>

</MyCat:server>

6.2 schema.xml配置文件

schema.xml 作为MyCat中重要的配置文件之一，涵盖了MyCat的逻辑库、表、分片规则、分片节点及数据源。

1）schema 标签

<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">

schema标签用于定义MyCat实例中的逻辑库。MyCat可以有多个逻辑库，每个逻辑库都有自己的相关配置。可以使用schema标签来划分不同的逻辑库，如果有配置schema标签，则所有的表配置都会属于同一个默认的逻辑库。

<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
<table name="travelrecord" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
</schema>
<schema name="USERDB" checkSQLschema="false" sqlMaxLimit="100">
<table name="company" dataNode="dn10,dn11,dn12" rule="auto-sharding-long" />
</schema>

如上所示配置了两个不同的逻辑库，逻辑库的概念等同于MySQL数据库中的Database概念，我们在查询逻辑库中的表时，需要切换到该逻辑库下才可以查询其中的表。

checkSQLschema属性，当把该值设置为true时，如果我们执行语句 select * from TESTDB.travelrecord;,则MyCat会把schema字符去掉，把SQL语句修改为select * from travelrecord;可避免发送到后端数据库执行时报错。

SqlMaxLimit属性，当该属性设置为某个值时，每次执行的SQL语句如果没有加上limit语句，MyCat也会自动在limit语句后加上对应的值。如果不设置该值，则MyCat会把查询到的信息全部返回。

2）table 标签

<table name=”travelrecord” dataNode=”dn1,dn2,dn3” rule=”auto-sharding-long”></table>

table标签定义了MyCat中的逻辑表，所有需要拆分的的表都需要在table标签中定义。

table标签的主要属性见下表，具体介绍参见MyCat官方网站 http://www.MyCat.io 。

属性名	值	数量限制
name	String	1
dataNode	String	1..*
rule	String	0..1
ruleRequired	boolean	0..1
primaryKey	String	1
type	String	0..1
autoIncrement	boolean	0..1
subTables	String	1
needAddLimit	Boolean	0..1

3）childTable 标签

childTable标签用于定义 E-R 分片的子表，通过标签上的属性与父表进行关联。

4）dataNode标签

dataNode标签定义了MyCat中的数据节点，也就是我们通常所说的数据分片。一个dataNode标签就是一个独立的数据分片。

5）dataHost标签

dataHost标签在MyCat逻辑库中作为底层标签存在，直接定义了具体的数据库实例，读写分离和心跳语句。

Heartbeat标签用来配置心跳检查语句，Mysql可以使用select user(),Oracle可以使用select 1 from dual 等。

writeHost和readHost是读写的配置，一个dataHost内可以配置多个读和写。但如果writeHost指定的后端数据库宕机，那么这个writeHost绑定的所有readHost也将不可用;另一方面，MyCat会自动检测到writeHost宕机，并切换到备用的writeHost上。

七、MyCat分片

在MyCat中将表分为两种大的概念：数据量小且不需要做数据切分的表，称为非分片表；数据量大到单库性能、容量不足以支撑，数据需要通过水平切分均匀分布到不同的数据库中的表，称为分片表。而中间件最终需要处理的事情是对数据切分、聚合。

7.1 ER关系分片表

ER模型是实体关系模型，广泛采用概念模型设计方法，基本元素是实体、关系和属性。MyCat将它引入数据切分规则中，使得有互相依赖的表能够按照某一规则切分到相同的节点上，避免跨库Join关联查询。具体详情配置内容在这里不做描述请参考官方文档。

八、功能与优势

8.1 常用命令

MyCat提供类似数据管理监控方式，可以通过MySQL命令行登录管理端口（9066）执行相应的SQL语句进行管理，也可以通过JDBC方式进行远程连接管理。
Reload @@config命令用于更新配置文件运行该命令，不用重启即可进行配置文件更新。
Reload @@sqlstat用来关闭和开启SQL监控分析。
Show @@database命令用来显示MyCat数据库列表，运行结果对应schema.xml配置文件的schema子节点。
Show @@datanode用来显示MyCat数据节点，运行结果对应schema.xml配置文件的dataNode节点。
Show @@heartbeat用于报告心跳状态。
Show @@connection用来获取MyCat的前端连接状态。
Kill @@connection id,id,id 用来关闭连接。
Show @@ cache用来查看缓存。
Show @@datasource 用来查看数据源状态，如果配置了主从或多主，则可以切换。
Switch @@ datasource name:index 用于切换数据源。
Show @@syslog limit 用于显示系统日志。
Show @@sql 显示在MyCat中执行过的语句。
Show @@shl.show 显示慢SQL语句。
Show @@sql.sum 显示SQL语句的整体执行情况、读写比例等。

8.2 局限性

delete操作不支持没有主键的表。没有主键的表在不同节点的顺序不同，如果执行 select ...limit...，则将出现不同的结果集。

不支持XA事务，在提交上可能回滚。

由于集群是乐观的并发控件，事务commit可能在该阶段中止，所以如果有两个事务向集群中的不同节点的同一行写入并提交，则失败的节点将中止。对于集群级别的中止，集群返回死锁错误。

整个集群的写入吞吐量由最弱的节点限制，如果有一个节点变得缓慢，那么整个集群将变得缓慢。

集群内部按照id自增长机制写入数据，比如集群中有三台可能是3，6，9这样的递增。

8.3 与Sharding-JDBC对比Sharding-JDBC

MyCat是一个中间件的第三方应用，sharding-jdbc是一个jar包。因为MyCat是单独部署，所以使用MyCat就像是访问数据库一样，而sharding-jdbc的逻辑都是需要在工程里写的。

如果只是单独应用可以使用轻量级的Sharding-JDBC，如果多个服务都需要操作数据库则使用MyCat更合适。因为用Sharding-JDBC需要在每一个工程里边都配置上相应的分片等逻辑，而MyCat只需要配置一份单独部署。

参考文献

《分布式数据库架构及企业实践基于MyCat中间件》
官方网站：http://www.MyCat.io/

作者：高玉珑

来源：宜信技术学院

微信关注我们

原文链接：https://my.oschina.net/u/4007037/blog/3104410

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

一年中的第 256 天，程序员你懂的

HappyDay of the Programmer。 9 月 13 日是俄罗斯的法定程序员日，这一天是一年中的第 256 天，程序员一看就知道这个数字的特别之处：它是十六进制的第 100 天，同时也是 2^8 天（闰年是 9 月 12 日）。这个特殊的日子是由软件公司 Parallel Technologies 的员工 Valentin Balt 与Michael Cherviakov 提出的。早在 2002 年，他们就开始收集向俄罗斯政府请愿的签名，希望政府认定这一天是正式的程序员。2009 年 7 月 24 日，俄罗斯交通部和大众传媒部发布了一份新的职业假期行政命令草案，提出程序员日。到了同年 9 月 11 日，俄罗斯正式签署了该法令。说起程序员日，中国其实也有一个不是法定性质的日子，程序员把每年 10 月 24 日当作程序员日，选择这一日期是因为将其写成“1024”，它等于2^10。且慢，这第 256 天是从 0 开始数的还是从 1 开始数的？

2019-09-14

645

GNOME 最新发布了代号为“Thessaloniki” 的3.34 版本，下一个稳定版 3.36 也已被提上日程。根据GNOME wiki 上的官方发布计划，GNOME 3.36将于 2020 年 3 月 11 日发布。在这之前，3.35.x 会作为不稳定的开发系列，用于测试并最终达到稳定版本。这是因为 GNOME 的奇偶版本号特性——只有偶数版才是稳定版本，次要的奇数版则标志着开发状态。第一个 GNOME 3.36 开发快照，即 GNOME 3.35.1，计划于 2019 年 10 月 12 日发布。第二个开发快照 GNOME 3.35.2 将于 2019 年 11 月 23 日发布。接下来更值得注意，明年 2 月初会第一个 GNOME 3.36 测试版，第二个测试版将于在此两周后的 2020 年 2 月 15 日发布。恰巧 2020 年是闰年，于是明年 2 月 29 日还将推出 GNOME 3.36 唯一的候选版本。最终的 GNOME 3.36 稳定版本定于 2020 年 3 月 11 日发布。紧接着会出现 3.36.x 系列版本。详细时间表可查看：https://w...

2019-09-14

706

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。