数据库中间件DBLE学习(二) 学习配置schema.xml
前言
一边有一个经常引诱我让我“娱乐至死”的视频,还有一个不停“鞭策“我让我快点学习的大boss。正是有这两种极端的爱
才让我常常在自信中明白自己努力的方向。嗯,"人间不值得"!
schema.xml介绍
上一篇写了:数据库中间件dble学习(一) 基本介绍和快速搭建,主要介绍快速安装。在安装的过程中,我们配置了schema.xml文件。schema.xml是一个比较重要的文件。该文件提供了逻辑库
,逻辑表
,分片规则
,数据分片
,物理数据库
等配置。它主要有以下几个标签组成。
-
schema
标签,主要是逻辑库
和逻辑表
的配置,其中逻辑表
又有多种类型,比如:全局表、分片表、er分片表、非分片表等。 -
datanode
标签,主要定义了数据分片存放的节点,一个datanode标签往往就对应着一个数据分片。 -
datahost
标签,主要定义了物理数据库及主从读写分离的配置。
实战schema.xml配置
接下来我们来实战一下,实战就拿经典product表,orders订单表来做实验。前面曾经介绍过逻辑表
拆分可以有很多种类型。首先我们先规划一下,假设我们是一家新的电商公司,在电商平台上卖自家公司生产的商品,我们的商品总共就5-6种,但挡不住客户对我们生产的商品的喜爱,款款都是爆款啊,一经发售订单量就惊人。那么我们怎么来拆分库表呢?
- products产品表,就卖几款爆品,我们要把它做成
全局表
。也就是每个分片上都有这个products产品表的数据。这样不会有多大的消耗,毕竟这个表数据量小。也比较方便和分片表进行关联。 - orders订单表,有上千万的订单。这个数据量比较大,我们要把orders表做成
分片表
。products产品表和orders表存在一对多的关系。我们可以按照order_id来进行取模分片。这样不会有数据过热的问题,并且产品表
是小表在每个分片上都有,我们能非常方便的使用产品表和订单表进行关联。
说这么多,不如来张图给大家看一下。
如图所示,应用直接连接数据库中间件,操作逻辑库
testdb,逻辑表
products和orders。而上述逻辑库
和逻辑表
对应存放在物理数据库主机a和主机b上。mysql主机a上有分片dn1,mysql主机b上有分片dn2。dn1上存储了全局表products和按order_id取模的orders表1。dn2上存储了全局表products和按order_id取模的orders表2。
整个脉络理清了,这是我们的配置环境。
服务器 | ip地址 | 描述 |
---|---|---|
dble服务器 | 192.168.56.185 | dble实例,数据库中间件,负责接收sql进行路由分发 |
mysql a服务器 | 192.168.56.181 | 物理实例a,有db_1数据库 |
mysql b1服务器主 | 192.168.56.182 | 物理实例b,有db_2数据库 |
mysql b2服务器从 | 192.168.56.183 | 物理实例b的从库 |
物理mysql环境配置
安装mysql服务器a和mysql服务器b的主从环境。然后在这两套物理数据库上都创建buddy用户。
create user 'buddy'@'%' identified by '123456'; grant all privileges on *.* to 'buddy'@'%' identified by '123456';
配置schema标签
进入dble的conf文件夹下配置schema.xml文件。首先咱们配置schema标签。主要配置内容如下:
<schema name="testdb"> <!--er tables--> <table name="orders" primarykey="order_id" datanode="dn1,dn2" rule="rule_mod"/> <!--global tables--> <table name="products" primarykey="product_id" type="global" datanode="dn1,dn2"/> </schema>
-
sehama标签
对逻辑库的定义,name指定了
逻辑库
的名字。 -
table标签
对表的定义,name指定了表的名字,datanode指定这张表涉及的数据节点,这里两张表都指定的是dn1,dn2。rule指定了分片的规则,这里是取模算法。如果是全局表需要在type属性列声明为global。
配置datanode标签
<datanode name="dn1" datahost="datahost1" database="db_1"/> <datanode name="dn2" datahost="datahost2" database="db_2"/>
-
datanode标签
name指定的是数据分片节点名称,datahost指定对应的数据库实例,database对在mysql物理实例中的schema。
配置datahost标签
<datahost name="datahost1" maxcon="1000" mincon="10" balance="0" switchtype="-1" slavethreshold="100"> <heartbeat>show slave status</heartbeat> <!-- can have multi write hosts --> <writehost host="hostm1" url="192.168.56.181:3306" user="buddy" password="buddy"> </writehost> </datahost> <datahost name="datahost2" maxcon="1000" mincon="10" balance="0" switchtype="-1" slavethreshold="100"> <heartbeat>show slave status</heartbeat> <!-- can have multi write hosts --> <writehost host="hostm2" url="192.168.56.182:3306" user="buddy" password="buddy"> <readhost host="hosts2" url="192.168.56.183:3306" user="buddy" password="buddy"/> </writehost> </datahost>
-
datahost标签
指定了数据库实例,这里name代表数据库实例的名称。maxcon定于了最大连接数,mincon定义了空闲时保有的最小连接数。balance是指读取操作的负载均衡模式,为0则不做均衡。switchtype代表了写操作的高可用切换类型。等于-1则表示不自动切换。slavethreshold指定了指定主从延迟的阀值,为100。该配置主要与读数据时的负载均衡有关,它会先取show slave status中的seconds_behind_master值,如果该值大于slavethreshold,则读取的时候就会过滤掉这个slave。防止读到旧的数据,影响前台的业务。
-
heartbeat标签
指定心跳检测,这里心跳检测的语句是show slave status
-
writehost标签
指定写入节点。host是写节点的名称。url指定写入节点的ip和端口号。user指定写节点数据库的用户名,password指定写节点数据库的密码。
-
readhost标签
指定读取节点。host是读节点的名称。url指定读取节点的ip和端口号。user指定读节点数据库的用户名,password指定读节点数据库的密码。
启动dble
上述配置完成之后,我们就可以启动dble了。
[root@mycat bin]# ./dble start starting dble-server... removed stale pid file: /dble/dble.pid
启动后查看wrapper日志居然报错了。
info | jvm 1 | 2019/12/27 00:34:15 | com.actiontech.dble.config.util.configexception: illegal table conf : table [ orders ] rule function [ func_mod ] partition size : 4 > table datanode size : 2, please make sure table datanode size = function partition size
这里报错很明显,主要是这个取模函数默认设置对4取模,大于了我们的datanode。需要我们在rule.xml中把func_mod函数的partitioncount给改成2.
<function name="func_mod" class="hash"> <property name="partitioncount">2</property> <property name="partitionlength">1</property> </function>
重新启动dble,能够成功启动。
创建分片并验证
使用管理端口登录,进行创建datanode的操作。
[root@mysql5 ~]# mysql -uman1 -p -p9066 -h192.168.56.185 -p654321 mysql> create database @@datanode='dn$1-2'; query ok, 1 row affected (0.03 sec)
分别登录mysql服务器a和mysql服务器b查看创建分片的情况。可以看到181上创建了db_1,而182上创建了db_2。
[root@mysql5 ~]# mysql -ubuddy -p -h192.168.56.181 -p3306 -p123456 -e "show databases" +--------------------+ | database | +--------------------+ | information_schema | | db_1 | | mysql | | performance_schema | | sys | +--------------------+ [root@mysql5 ~]# mysql -ubuddy -p -h192.168.56.182 -p3306 -p123456 -e "show databases" +--------------------+ | database | +--------------------+ | information_schema | | db_2 | | mysql | | performance_schema | | sys | +--------------------+
创建表并插入数据
使用服务端口登录,进行创建表和插入数据的操作。此时我们操作的就是逻辑库和逻辑表。
[root@mysql5 ~]# mysql -uroot -h192.168.56.185 -p8066 -p123456 mysql> show databases; +----------+ | database | +----------+ | testdb | +----------+ 1 row in set (0.00 sec) mysql> use testdb; database changed mysql> show tables; empty set (0.00 sec) mysql> create table if not exists products ( -> product_id int not null, -> product_name varchar(250), -> expire_time date, -> primary key(product_id) -> )engine=innodb charset=utf8; query ok, 0 rows affected, 1 warning (0.08 sec) mysql> create table if not exists orders ( -> order_id int not null, -> product_id int not null, -> effective_time date, -> cust_name varchar(20), -> cust_address varchar(200), -> primary key(order_id) -> )engine=innodb charset=utf8; query ok, 0 rows affected (0.04 sec) insert into products values(1,'package a','2015-12-31') insert into products values(2,'package b','2022-07-31'); insert into products values(3,'package c','2025-12-31'); insert into products values(4,'package d','2028-05-31'); insert into orders values(1,1,'2019-12-25','caocao','gz'); insert into orders values(1,1,'2019-12-25','caocao','gz'); insert into orders values(2,1,'2019-12-25','liubei','sz'); insert into orders values(3,2,'2019-12-25','sunquan','sh'); insert into orders values(4,2,'2019-12-25','zhugeliang','nj'); insert into orders values(5,3,'2019-12-25','simayi','hz'); insert into orders values(6,4,'2019-12-25','caopi','wh'); insert into orders values(7,1,'2019-12-25','guanyu','cd'); insert into orders values(8,1,'2019-12-25','zhengfei','bj'); insert into orders values(9,3,'2019-12-25','zhaoyun','cd'); insert into orders values(10,1,'2019-12-25','weiyan','cq'); insert into orders values(11,4,'2019-12-25','machao','cs'); insert into orders values(12,1,'2019-12-25','lvbu','cd'); insert into orders values(13,1,'2019-12-25','diaochan','sh'); insert into orders values(14,2,'2019-12-25','huangzhong','hz'); mysql> insert into orders values(1,1,'2019-12-25','caocao','gz'); error 1064 (hy000): bad insert sql, sharding column/joinkey:id not provided,insert into orders
在插入orders表的时候再次报错,报错很明显,说分片键id没提供。这是因为我们在rule.xml中columns字段不是指定的分片字段order_id。在rule.xml配置一下columns字段为order_id就可以了。
<tablerule name="rule_mod"> <rule> <columns>order_id</columns> <algorithm>func_mod</algorithm> </rule> </tablerule>
验证分片数据否正确
验证db_1分片上的数据。
[root@mysql5 ~]# mysql -ubuddy -h192.168.56.181 -p3306 -p123456 -d db_1 -e "select * from products" +------------+--------------+-------------+ | product_id | product_name | expire_time | +------------+--------------+-------------+ | 1 | package a | 2015-12-31 | | 1 | package b | 2022-07-31 | | 1 | package c | 2025-12-31 | | 1 | package d | 2028-05-31 | +------------+--------------+-------------+ [root@mysql5 ~]# mysql -ubuddy -h192.168.56.181 -p3306 -p123456 -d db_1 -e "select * from orders" +----------+------------+----------------+------------+--------------+ | order_id | product_id | effective_time | cust_name | cust_address | +----------+------------+----------------+------------+--------------+ | 2 | 1 | 2019-12-25 | liubei | sz | | 4 | 2 | 2019-12-25 | zhugeliang | nj | | 6 | 4 | 2019-12-25 | caopi | wh | | 8 | 1 | 2019-12-25 | zhengfei | bj | | 10 | 1 | 2019-12-25 | weiyan | cq | | 12 | 1 | 2019-12-25 | lvbu | cd | | 14 | 2 | 2019-12-25 | huangzhong | hz | +----------+------------+----------------+------------+--------------+
验证db_2分片上的数据。
[root@mysql5 ~]# mysql -ubuddy -h192.168.56.182 -p3306 -p123456 -d db_2 -e "select * from products" mysql: [warning] using a password on the command line interface can be insecure. +------------+--------------+-------------+ | product_id | product_name | expire_time | +------------+--------------+-------------+ | 1 | package a | 2015-12-31 | | 1 | package b | 2022-07-31 | | 1 | package c | 2025-12-31 | | 1 | package d | 2028-05-31 | +------------+--------------+-------------+ [root@mysql5 ~]# mysql -ubuddy -h192.168.56.182 -p3306 -p123456 -d db_2 -e "select * from orders" +----------+------------+----------------+-----------+--------------+ | order_id | product_id | effective_time | cust_name | cust_address | +----------+------------+----------------+-----------+--------------+ | 1 | 1 | 2019-12-25 | caocao | gz | | 3 | 2 | 2019-12-25 | sunquan | sh | | 5 | 3 | 2019-12-25 | simayi | hz | | 7 | 1 | 2019-12-25 | guanyu | cd | | 9 | 3 | 2019-12-25 | zhaoyun | cd | | 11 | 4 | 2019-12-25 | machao | cs | | 13 | 1 | 2019-12-25 | diaochan | sh | +----------+------------+----------------+-----------+--------------+
总结
这篇我们学习了基本的schema.xml的配置方法,目前还是比较皮毛的。下一篇我们来介绍分片的一些算法。
参考文档
上一篇: 中暑最基本的饮食建议 中暑应该这样预防
下一篇: 最养人的12种杂粮,功效你都知道吗?