Sharding-jdbc的实战入门之水平分表（一）

前言

上一篇文章中老顾介绍了sharding-jdbc的基本概念，今天老顾就来介绍一下如何使用。

经常碰到一些小伙伴的问题，就是我们到达什么量级才会分库分表？

分库分表经验值

mysql单表经验

• 300W Mysql 可以轻松抗住
• 600W 数据开始卡，优化可以解决（表结构，索引设计）
• 800W ~ 1000W 牛逼的DBA 优化都会遇到瓶颈

一般MySQL单表1000W左右的数据是可以不需要考虑分表的。当然，除了考虑当前的数据量和性能情况时，我们需要提前考虑系统半年到一年左右的业务增长情况。但是要避免过度设计（考虑了很多未来几年的需求，例如一张表在未来几年内数据预计会达到几千万，这个就过渡考虑了）

根据数据量增长速度，选择实现步骤

第一步：不分库不分表

第二步：同库内的分表

第三步：分库分表

不要过度设计，一上来玩大的就进行分库分表

分库如果多个实例存在同一台服务器上，只是解决了数据库最大连接数的问题，但是 io（数据库数据是存储在硬盘上，每次获取都需要去硬盘把数据捞出来）,cpu 等服务器资源瓶颈并没有解决。数据库的性能取决于服务器等性能

搭建环境

我们采用SpringBoot + MybatisPlus + Shrading-JDBC + Druid链接池

POM.xml依赖

 

 

 

老顾用了相对比较新的版本，SpringBoot 2.2.9，Sharding-Jdbc4.1.1版本

水平分表，创建数据库表

1. 创建数据库course_db
2. 创建两张表course_1,course_2

 

course_1、course_2的表结构

 

分表规则

如果增加的课程cid为偶数把数据插入到course_1，如为奇数把数据插入到course_2中。

持久化mybatis

我们引用的是mybatis-plus

定义实体类

 

操作数据mapper

 

启动类，MapperScan

 

到此环境搭建完成。

配置分表策略

配置数据源

#配置数据源
spring.shardingsphere.datasource.names=m1

数据源地址

#配置数据源具体内容，
spring.shardingsphere.datasource.m1.type = com.alibaba.druid.pool.DruidDataSourcespring.shardingsphere.datasource.m1.driver-class-name = com.mysql.jdbc.Driver
spring.shardingsphere.datasource.m1.url = jdbc:mysql://localhost:3306/course_db
spring.shardingsphere.datasource.m1.username = root
spring.shardingsphere.datasource.m1.password = root

注意数据源的名称，和数据源地址配置的用的数据源一致

表分布

#指定course表分布情况，配置表在哪个数据库里面，表名称是什么 #m1.course_1;m1.course_2

spring.shardingsphere.sharding.tables.course.actual-data-nodes=m1.course_$->{1..2}

上面的表达式m1.course_$->{1..2}表示course表的分布，利用了行表达式算法指明真实的表名；course这个表为逻辑表

表的主键定义

#指定course表里面的键cid生成策略

spring.shardingsphere.sharding.tables.course.key-generator.column=cid

spring.shardingsphere.sharding.tables.course.key-generator.type=SNOWFLAKE

上面指定了主键为cid，并且利用雪花算法生成，小伙伴不了解雪花算法，可以查看老顾之前的文章

策略

#指定分片策略 cid为偶数添加到course_1表，为奇数添加到course_2表中

spring.shardingsphere.sharding.tables.course.table-strategy.inline.sharding-column=cid

spring.shardingsphere.sharding.tables.course.table-strategy.inline.algorithm-expression=course_$->{cid % 2 + 1}

上面定了course逻辑表的table-strategy策略，根据cid字段，表达式course_$->{cid % 2 + 1}，可以看到cid%2 + 1，就是对2取模 + 1，就会落到1、2

sql日志

#打开sql输出日志

spring.shardingsphere.props.sql.show=true

输入执行sql日志

#不要忘了允许覆盖重复的Bean

spring.main.allow-bean-definition-overriding=true

测试类

 

上面循环10次，进行课程course插入

执行报错了

 

我们看看错误信息是什么

BeanCreationException: Error creating bean with name 'dataSource' defined in class path resource [com/alibaba/druid/spring/boot/autoconfigure/DruidDataSourceAutoConfigure.class]: Invocation of init method failed; nested exception is org.springframework.boot.autoconfigure.jdbc.DataSourceProperties$DataSourceBeanCreationException: Failed to determine a suitable driver class

at org.springframework.beans.factory.

如上所示，DruidDataSourceAutoConfigure Failed to determine a suitable driver class，即druid找不到mysql driver,然而mysql的驱动包啥的都没问题，于是直接点进DruidDataSourceAutoConfigure查看源码

 

DruidDataSourceWrapper类源码

 

如上，标红表明druid是根据spring.datasource.druid找jdbc属性的，如果not found,则根据spring.datasource找jdbc属性，一般而言这是不会出现错误的。但是我这里使用了shardingjdbc，并没有配置spring.datasource,根据spring.datasource.druid或者spring.datasource确实找不到，因为我的结构是spring.shardingsphere.datasource。

怎么解决呢？

排除Druid数据源自动配置

解决方式1：

如果我们用的jar包是druid-spring-boot-starter，则在启动类上排除druid自动配置

@SpringBootApplication(exclude = {DruidDataSourceAutoConfigure.class})

解决方式2：

不用

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid-spring-boot-starter</artifactId>
    <version>1.1.20</version>
</dependency>

改为

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid</artifactId>
    <version>1.1.20</version>
</dependency>

再次执行

老顾这里采用方式1

 

我们在来执行看看，执行成功了

 

 

我们发现有2张表有10条数据，按照奇偶数插入了。我们也能看到控制台的输出sql日志；日志中有逻辑sql，和真实的sql。根据奇偶数真实的sql会不一样

 

总结

今天老顾介绍了shrading-jdbc的水平分表，核心就是分表的策略配置，以及配置的注意点，相对是比较简单的，后续的文章会介绍分库以及读写分离，谢谢持续关注！！！

---End---