数据库中间件DBLE学习(二) 学习配置schema.xml-低调大师

数据库中间件DBLE学习(二) 学习配置schema.xml

2019-12-26 620

前言

一边有一个经常引诱我让我“娱乐至死”的视频，还有一个不停“鞭策“我让我快点学习的大BOSS。正是有这两种极端的爱才让我常常在自信中明白自己努力的方向。嗯,"人间不值得"！

SCHEMA.XML介绍

上一篇写了：数据库中间件DBLE学习(一) 基本介绍和快速搭建，主要介绍快速安装。在安装的过程中，我们配置了schema.xml文件。schema.xml是一个比较重要的文件。该文件提供了逻辑库，逻辑表，分片规则，数据分片，物理数据库等配置。它主要有以下几个标签组成。

schema标签，主要是逻辑库和逻辑表的配置，其中逻辑表又有多种类型，比如：全局表、分片表、ER分片表、非分片表等。
dataNode标签，主要定义了数据分片存放的节点，一个dataNode标签往往就对应着一个数据分片。
dataHost标签，主要定义了物理数据库及主从读写分离的配置。

实战SCHEMA.XML配置

接下来我们来实战一下，实战就拿经典PRODUCT表,ORDERS订单表来做实验。前面曾经介绍过逻辑表拆分可以有很多种类型。首先我们先规划一下，假设我们是一家新的电商公司，在电商平台上卖自家公司生产的商品，我们的商品总共就5-6种，但挡不住客户对我们生产的商品的喜爱，款款都是爆款啊，一经发售订单量就惊人。那么我们怎么来拆分库表呢？

PRODUCTS产品表，就卖几款爆品，我们要把它做成全局表。也就是每个分片上都有这个PRODUCTS产品表的数据。这样不会有多大的消耗，毕竟这个表数据量小。也比较方便和分片表进行关联。
ORDERS订单表，有上千万的订单。这个数据量比较大，我们要把ORDERS表做成分片表。PRODUCTS产品表和ORDERS表存在一对多的关系。我们可以按照order_id来进行取模分片。这样不会有数据过热的问题，并且产品表是小表在每个分片上都有，我们能非常方便的使用产品表和订单表进行关联。

说这么多，不如来张图给大家看一下。

如图所示，应用直接连接数据库中间件，操作逻辑库testdb，逻辑表PRODUCTS和ORDERS。而上述逻辑库和逻辑表对应存放在物理数据库主机A和主机B上。MySQL主机A上有分片dn1，MySQL主机B上有分片dn2。dn1上存储了全局表PRODUCTS和按order_id取模的ORDERS表1。dn2上存储了全局表PRODUCTS和按order_id取模的ORDERS表2。

整个脉络理清了，这是我们的配置环境。

服务器	IP地址	描述
DBLE服务器	192.168.56.185	DBLE实例，数据库中间件，负责接收SQL进行路由分发
MySQL A服务器	192.168.56.181	物理实例A，有db_1数据库
MySQL B1服务器主	192.168.56.182	物理实例B，有db_2数据库
MySQL B2服务器从	192.168.56.183	物理实例B的从库

物理MySQL环境配置

安装MySQL服务器A和MySQL服务器B的主从环境。然后在这两套物理数据库上都创建Buddy用户。

create user 'buddy'@'%' identified by '123456';
GRANT ALL PRIVILEGES ON *.* TO 'buddy'@'%' IDENTIFIED BY '123456';

配置schema标签

进入dble的conf文件夹下配置schema.xml文件。首先咱们配置schema标签。主要配置内容如下：

 <schema name="testdb">
        <!--er tables-->
        <table name="orders" primaryKey="order_id" dataNode="dn1,dn2" rule="rule_mod"/>
        <!--global  tables-->
        <table name="products" primaryKey="product_id" type="global" dataNode="dn1,dn2"/>
    </schema>

sehama标签

对逻辑库的定义，name指定了逻辑库的名字。

table标签

对表的定义，name指定了表的名字，dataNode指定这张表涉及的数据节点，这里两张表都指定的是dn1,dn2。rule指定了分片的规则，这里是取模算法。如果是全局表需要在type属性列声明为global。

配置dataNode标签

<dataNode name="dn1" dataHost="dataHost1" database="db_1"/>
<dataNode name="dn2" dataHost="dataHost2" database="db_2"/>

dataNode标签

name指定的是数据分片节点名称，dataHost指定对应的数据库实例，database对在mysql物理实例中的schema。

配置dataHost标签

<dataHost name="dataHost1" maxCon="1000" minCon="10" balance="0" switchType="-1" slaveThreshold="100">
    <heartbeat>show slave status</heartbeat>
    <!-- can have multi write hosts -->
    <writeHost host="hostM1" url="192.168.56.181:3306" user="buddy" password="buddy">
    </writeHost>
</dataHost>
<dataHost name="dataHost2" maxCon="1000" minCon="10" balance="0" switchType="-1" slaveThreshold="100">
    <heartbeat>show slave status</heartbeat>
    <!-- can have multi write hosts -->
    <writeHost host="hostM2" url="192.168.56.182:3306" user="buddy" password="buddy">
        <readHost host="hostS2" url="192.168.56.183:3306" user="buddy" password="buddy"/>
    </writeHost>
</dataHost>

dataHost标签

指定了数据库实例，这里name代表数据库实例的名称。maxCon定于了最大连接数，minCon定义了空闲时保有的最小连接数。balance是指读取操作的负载均衡模式，为0则不做均衡。switchType代表了写操作的高可用切换类型。等于-1则表示不自动切换。slaveThreshold指定了指定主从延迟的阀值，为100。该配置主要与读数据时的负载均衡有关，它会先取show slave status中的Seconds_Behind_Master值，如果该值大于slaveThreshold，则读取的时候就会过滤掉这个slave。防止读到旧的数据，影响前台的业务。

heartbeat标签

指定心跳检测，这里心跳检测的语句是show slave status

writeHost标签

指定写入节点。host是写节点的名称。url指定写入节点的ip和端口号。user指定写节点数据库的用户名，password指定写节点数据库的密码。

readHost标签

指定读取节点。host是读节点的名称。url指定读取节点的ip和端口号。user指定读节点数据库的用户名，password指定读节点数据库的密码。

启动dble

上述配置完成之后，我们就可以启动dble了。

[root@mycat bin]# ./dble start
Starting dble-server...
Removed stale pid file: /dble/dble.pid

启动后查看wrapper日志居然报错了。

INFO   | jvm 1    | 2019/12/27 00:34:15 | com.actiontech.dble.config.util.ConfigException: Illegal table conf : table [ orders ] rule function [ func_mod ] partition size : 4 > table datanode size : 2, please make sure table datanode size = function partition size

这里报错很明显，主要是这个取模函数默认设置对4取模，大于了我们的dataNode。需要我们在rule.xml中把func_mod函数的partitionCount给改成2.

<function name="func_mod" class="Hash">
    <property name="partitionCount">2</property>
    <property name="partitionLength">1</property>
</function>

重新启动dble，能够成功启动。

创建分片并验证

使用管理端口登录，进行创建datanode的操作。

[root@mysql5 ~]# mysql -uman1 -p -P9066 -h192.168.56.185 -p654321
mysql> create database @@dataNode='dn$1-2';
Query OK, 1 row affected (0.03 sec)

分别登录MySQL服务器A和MySQL服务器B查看创建分片的情况。可以看到181上创建了db_1，而182上创建了db_2。

[root@mysql5 ~]# mysql -ubuddy -p  -h192.168.56.181 -P3306 -p123456 -e "show databases"
+--------------------+
| Database           |
+--------------------+
| information_schema |
| db_1               |
| mysql              |
| performance_schema |
| sys                |
+--------------------+

[root@mysql5 ~]# mysql -ubuddy -p  -h192.168.56.182 -P3306 -p123456 -e "show databases"
+--------------------+
| Database           |
+--------------------+
| information_schema |
| db_2               |
| mysql              |
| performance_schema |
| sys                |
+--------------------+

创建表并插入数据

使用服务端口登录，进行创建表和插入数据的操作。此时我们操作的就是逻辑库和逻辑表。

[root@mysql5 ~]# mysql -uroot -h192.168.56.185 -P8066 -p123456
mysql> show databases;
+----------+
| DATABASE |
+----------+
| testdb   |
+----------+
1 row in set (0.00 sec)

mysql> use testdb;
Database changed
mysql> show tables;
Empty set (0.00 sec)

mysql> create table if not exists products (
    ->   product_id int not null,
    ->   product_name varchar(250),
    ->   expire_time date,
    ->   primary key(product_id)
    -> )engine=innodb charset=utf8;
Query OK, 0 rows affected, 1 warning (0.08 sec)

mysql> create table if not exists orders (
    ->   order_id int not null,
    ->   product_id int not null,
    ->   effective_time date,
    ->   cust_name varchar(20),
    ->   cust_address varchar(200),
    ->   primary key(order_id)
    -> )engine=innodb charset=utf8;
Query OK, 0 rows affected (0.04 sec)

insert into products values(1,'Package A','2015-12-31')
insert into products values(2,'Package B','2022-07-31');
insert into products values(3,'Package C','2025-12-31');
insert into products values(4,'Package D','2028-05-31');

insert into orders values(1,1,'2019-12-25','caocao','gz');
insert into orders values(1,1,'2019-12-25','caocao','gz');
insert into orders values(2,1,'2019-12-25','liubei','sz');
insert into orders values(3,2,'2019-12-25','sunquan','sh');
insert into orders values(4,2,'2019-12-25','zhugeliang','nj');
insert into orders values(5,3,'2019-12-25','simayi','hz');
insert into orders values(6,4,'2019-12-25','caopi','wh');
insert into orders values(7,1,'2019-12-25','guanyu','cd');
insert into orders values(8,1,'2019-12-25','zhengfei','bj');
insert into orders values(9,3,'2019-12-25','zhaoyun','cd');
insert into orders values(10,1,'2019-12-25','weiyan','cq');
insert into orders values(11,4,'2019-12-25','machao','cs');
insert into orders values(12,1,'2019-12-25','lvbu','cd');
insert into orders values(13,1,'2019-12-25','diaochan','sh');
insert into orders values(14,2,'2019-12-25','huangzhong','hz');

mysql> insert into orders values(1,1,'2019-12-25','caocao','gz');
ERROR 1064 (HY000): bad insert sql, sharding column/joinKey:ID not provided,INSERT INTO orders

在插入orders表的时候再次报错，报错很明显，说分片键id没提供。这是因为我们在rule.xml中columns字段不是指定的分片字段order_id。在rule.xml配置一下columns字段为order_id就可以了。

<tableRule name="rule_mod">
    <rule>
        <columns>order_id</columns>
        <algorithm>func_mod</algorithm>
    </rule>
</tableRule>

验证分片数据否正确

验证db_1分片上的数据。

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.181 -P3306 -p123456 -D db_1 -e "select * from products" 
+------------+--------------+-------------+
| product_id | product_name | expire_time |
+------------+--------------+-------------+
|          1 | Package A    | 2015-12-31  |
|          1 | Package B    | 2022-07-31  |
|          1 | Package C    | 2025-12-31  |
|          1 | Package D    | 2028-05-31  |
+------------+--------------+-------------+

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.181 -P3306 -p123456 -D db_1 -e "select * from orders"  
+----------+------------+----------------+------------+--------------+
| order_id | product_id | effective_time | cust_name  | cust_address |
+----------+------------+----------------+------------+--------------+
|        2 |          1 | 2019-12-25     | liubei     | sz           |
|        4 |          2 | 2019-12-25     | zhugeliang | nj           |
|        6 |          4 | 2019-12-25     | caopi      | wh           |
|        8 |          1 | 2019-12-25     | zhengfei   | bj           |
|       10 |          1 | 2019-12-25     | weiyan     | cq           |
|       12 |          1 | 2019-12-25     | lvbu       | cd           |
|       14 |          2 | 2019-12-25     | huangzhong | hz           |
+----------+------------+----------------+------------+--------------+

验证db_2分片上的数据。

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.182 -P3306 -p123456 -D db_2 -e "select * from products"  
mysql: [Warning] Using a password on the command line interface can be insecure.
+------------+--------------+-------------+
| product_id | product_name | expire_time |
+------------+--------------+-------------+
|          1 | Package A    | 2015-12-31  |
|          1 | Package B    | 2022-07-31  |
|          1 | Package C    | 2025-12-31  |
|          1 | Package D    | 2028-05-31  |
+------------+--------------+-------------+

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.182 -P3306 -p123456 -D db_2 -e "select * from orders" 
+----------+------------+----------------+-----------+--------------+
| order_id | product_id | effective_time | cust_name | cust_address |
+----------+------------+----------------+-----------+--------------+
|        1 |          1 | 2019-12-25     | caocao    | gz           |
|        3 |          2 | 2019-12-25     | sunquan   | sh           |
|        5 |          3 | 2019-12-25     | simayi    | hz           |
|        7 |          1 | 2019-12-25     | guanyu    | cd           |
|        9 |          3 | 2019-12-25     | zhaoyun   | cd           |
|       11 |          4 | 2019-12-25     | machao    | cs           |
|       13 |          1 | 2019-12-25     | diaochan  | sh           |
+----------+------------+----------------+-----------+--------------+

总结

这篇我们学习了基本的schema.xml的配置方法，目前还是比较皮毛的。下一篇我们来介绍分片的一些算法。

微信关注我们

原文链接：https://yq.aliyun.com/articles/740821

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

通过Spark Streaming作业处理Kafka数据

本节介绍如何使用阿里云E-MapReduce部署Hadoop集群和Kafka集群，并运行Spark Streaming作业消费Kafka数据。前提条件已注册阿里云账号，详情请参见注册云账号。已开通E-MapReduce服务。已完成云账号的授权，详情请参见角色授权。背景信息在开发过程中，通常会遇到消费Kafka数据的场景。在阿里云E-MapReduce中，您可通过运行Spark Streaming作业来消费Kafka数据。步骤一创建Hadoop集群和Kafka集群推荐您将Hadoop集群和Kafka集群创建在同一个安全组下。如果Hadoop集群和Kafka集群不在同一个安全组下，则两者的网络默认是不互通的，您需要对两者的安全组分别进行相关配置，以使两者的网络互通。登录阿里云 E-MapReduce 控制台。创建Hadoop集群，详

2019-12-27

781

作者 | 邓洪超阿里云容器平台软件工程师导读：Open Application Model（OAM）是阿里云联合微软等国际顶级技术团队联合发布的开放应用模型技术。旨在通过全新的应用定义、运维、分发与交付模型，推动应用管理技术向“轻运维”的方向迈进，全力开启下一代云原生 DevOps 的技术革命。本《开放应用模型操作指南》系列文章，将为广大技术人员（研发、运维、基础设施工程师）提供接地气的、体系化的 OAM 操作和接入指南。前言自 OAM 标准推出以来，越来越多的平台和服务开始接入 OAM 标准，朝着 BaaS (Backend as a service) 化的方向迈进。在阿里巴巴集团，我们见证了 EDAS、内部中间件交付平台等以 OAM 的方式打造和推出应用交付和运维产品。并且，ROS、PolarDB 等以开放的姿态逐步接入

2019-12-27

756

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。