利用Sharding-Jdbc实现分表
程序员文章站
2022-07-03 22:28:21
...
你们团队使用SpringMVC+Spring+JPA框架，快速开发了一个NB的系统，上线后客户订单跟雪花一样纷沓而来。
慢慢地，你的心情开始变差，因为客户和产品的抱怨越来越频繁，抱怨的最多的一个问题就是：系统越来越慢了。
1 常规优化
你组织团队，进行了一系列的优化。
1.1 数据表索引优化
经过初步分析，发现瓶颈在数据库。WEB服务器的CPU闲来无事，但数据库服务器的CPU使用率高居不下。
于是，请来架构组的DBA同事，监控数据库的访问，整理出那些耗时的SQL，并且进行SQL查询分析。根据分析结果，对数据表索引进行重新整理。同时也对数据库本身的参数设置进行了优化。
优化后，页面速度明显提升，客户抱怨减少，又过了一段时间的安逸日子。
1.2 多点部署+负载均衡
慢慢的，访问速度又不行了，这次是WEB服务器压力很大，数据库服务器相对空闲。经过分析，发现是系统并发用户数太多，单WEB服务器不能够支持如此众多的并发请求。
于是，请架构协助进行WEB多点部署，前端使用nginx做负载分发。这时候必须要解决的一个问题就是用户会话保持的问题。这可以有几种不同解决方案：
1、nginx实现sticky分发
因为nginx缺省没有sticky机制，可以使用ip_hash方式来代替。
2、配置Tomcat实现Session复制
3、代码使用SpringSession，利用redis实现session复制。
具体做法就不一一介绍了。其中使用SpringSession的方法，可以参考我的文章《集群环境CAS的问题及解决方案》。
2 试用当当的Sharding JDBC框架
多点部署之后，系统又运行了一段时间，期间增加了更多的WEB节点，基本能应对客户需求。慢慢的，增加WEB服务器也不能解决问题了，因为系统瓶颈又回到了数据库服务器。SQL执行时间越来越长，而且无法优化。原因也很简单，数据量太大。
单表数据已经超过几千万行，通过数据库的优化已经不能满足速度的要求。分库分表提到了日程上，必须解决。
因为使用了JPA，如果分库分表需要对数据访问层做较大的改动，工作量太大，修改的风险也太高。恰好看到当当开源了其Sharding-JDBC组件，摘抄一段介绍：
https://github.com/dangdangdotcom/sharding-jdbc
Sharding-JDBC直接封装JDBC API，可以理解为增强版的JDBC驱动，旧代码迁移成本几乎为零：
可适用于任何基于java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。
可基于任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Druid等。
理论上可支持任意实现JDBC规范的数据库。虽然目前仅支持MySQL，但已有支持Oracle，SQLServer，DB2等数据库的计划。
它支持JPA，可以在几乎不修改代码的情况下完成分库分表的实现。因此，选择这个框架做一次分库分表的尝试。
先做一个最简单的试用，不做分库，仅做分表。选择数据表operate_history，这个数据表记录所有的操作历史，是整个系统中数据量最大的一个数据表。
希望将这个表拆分为四个数据表，分别是 operate_history_0operate_history_1 operate_history_2 operate_history_3。数据能够分配保存到四个数据表中，降低单表的数据量。同时，为了尽量减少跨表的查询操作，决定使用字段 entity_key为分表依据，这样同一个entity对象的所有操作，将会记录在同一个数据表中。拆分后的数据表结构为：
3 实现过程
以下是针对JPA项目的修改过程。其他项目请参考官方网站的文档。
3.1 修改pom.xml增加dependency
需要添加两个jar，sharding-jdbc-core和sharding-jdbc-config-spring。
<dependency>
<groupId>com.dangdang</groupId>
<artifactId>sharding-jdbc-core</artifactId>
<version>1.3.0</version>
</dependency>
<dependency>
<groupId>com.dangdang</groupId>
<artifactId>sharding-jdbc-config-spring</artifactId>
<version>1.3.0</version>
</dependency>
3.2 修改Spring中Database部分的配置
原Database配置
<bean id="dataSource"class="org.apache.tomcat.jdbc.pool.DataSource"destroy-method="close">
<propertyname="driverClassName"value="com.mysql.jdbc.Driver"></property>
<propertyname="url" value="jdbc:mysql://localhost:3306/sharding"></property>
<propertyname="username" value="root"></property>
<propertyname="password" value="sharding"></property>
</bean>
修改后的配置
<beanid="db-node-0"class="org.apache.tomcat.jdbc.pool.DataSource"destroy-method="close">
<property name="driverClassName"value="com.mysql.jdbc.Driver"></property>
<property name="url"value="jdbc:mysql://localhost:3306/sharding"></property>
<property name="username"value="root"></property>
<property name="password"value="sharding"></property>
</bean>
<rdb:strategyid="historyTableStrategy"
sharding-columns="entity_key"
algorithm-class="cn.codestory.sharding.SingleKeyTableShardingAlgorithm"/>
<rdb:data-sourceid="dataSource">
<rdb:sharding-ruledata-sources="db-node-0"default-data-source="db-node-0">
<rdb:table-rules>
<rdb:table-rulelogic-table="operate_history"
actual-tables="operate_history_0,operate_history_1,operate_history_2,operate_history_3"
table-strategy="historyTableStrategy" />
</rdb:table-rules>
</rdb:sharding-rule>
</rdb:data-source>
3.3 编写类SingleKeyTableShardingAlgorithm
这个类用来根据entity_key值确定使用的分表名。参考sharding提供的示例代码进行修改。核心代码如下
publicCollection<String> doInSharding(
Collection<String>availableTargetNames,
ShardingValue<Long>shardingValue) {
int targetCount = availableTargetNames.size();
Collection<String> result = newLinkedHashSet<>(targetCount);
Collection<Long> values =shardingValue.getValues();
for (Long value : values) {
for (String tableNames :availableTargetNames) {
if (tableNames.endsWith(value % targetCount+ "")) {
result.add(tableNames);
}
}
}
return result;
}
这是一个简单的实现，对entity_key进行求模，用余数确定数据表名。
3.4 修改主键生成方法
因为数据分表保存，不能使用identify方式生成数据表主键。如果主键是String类型，可以考虑使用uuid生成方法，但它查询效率会相对比较低。
如果使用long型主键，可以使用其他方式，一定要确保各个子表中的主键不重复。
3.5 历史数据的处理
根据数据分表的规则，需要对原有数据包的数据进行迁移，分别移动到四个数据表中。如果不做这一步，或者数据迁移到了错误的数据表，后续将会查询不到这些数据。
至此，对项目的修改基本完成，重新启动项目并增加operate_history数据，就会看到新添加的数据，已经根据我们的分表规则，插入到了某一个数据表中。查询的时候，能够同时查询到多个实际数据表中的数据。
4 数据分表规则的一些考虑
前面的例子，演示的是根据entity_key进行分表，也可以使用其他字段如主键进行分表。以下是我想到的一些分表规则：
根据主键进行分配
这种方式能够实现最平均的分配方法，每生成一条新数据，会依次保存到下一个数据表中。
根据用户ID进行分配
这种方式能够确保同一个用户的所有数据保存在同一个数据表中。如果经常按用户id查询数据，这是比较经济的一种做法。
根据某一个外键的值进行分配
前面的例子采用的就是这种方法，因为这个数据可能会经常根据这个外键进行查询。
根据时间进行分配
适用于一些经常按时间段进行查询的数据，将一个时间段内的数据保存在同一个数据表中。比如订单系统，缺省查询一个月之内的数据。
关注公众号可以获取各种学习视频 spring dubbo docker
慢慢地，你的心情开始变差，因为客户和产品的抱怨越来越频繁，抱怨的最多的一个问题就是：系统越来越慢了。
1 常规优化
你组织团队，进行了一系列的优化。
1.1 数据表索引优化
经过初步分析，发现瓶颈在数据库。WEB服务器的CPU闲来无事，但数据库服务器的CPU使用率高居不下。
于是，请来架构组的DBA同事，监控数据库的访问，整理出那些耗时的SQL，并且进行SQL查询分析。根据分析结果，对数据表索引进行重新整理。同时也对数据库本身的参数设置进行了优化。
优化后，页面速度明显提升，客户抱怨减少，又过了一段时间的安逸日子。
1.2 多点部署+负载均衡
慢慢的，访问速度又不行了，这次是WEB服务器压力很大，数据库服务器相对空闲。经过分析，发现是系统并发用户数太多，单WEB服务器不能够支持如此众多的并发请求。
于是，请架构协助进行WEB多点部署，前端使用nginx做负载分发。这时候必须要解决的一个问题就是用户会话保持的问题。这可以有几种不同解决方案：
1、nginx实现sticky分发
因为nginx缺省没有sticky机制，可以使用ip_hash方式来代替。
2、配置Tomcat实现Session复制
3、代码使用SpringSession，利用redis实现session复制。
具体做法就不一一介绍了。其中使用SpringSession的方法，可以参考我的文章《集群环境CAS的问题及解决方案》。
2 试用当当的Sharding JDBC框架
多点部署之后，系统又运行了一段时间，期间增加了更多的WEB节点，基本能应对客户需求。慢慢的，增加WEB服务器也不能解决问题了，因为系统瓶颈又回到了数据库服务器。SQL执行时间越来越长，而且无法优化。原因也很简单，数据量太大。
单表数据已经超过几千万行，通过数据库的优化已经不能满足速度的要求。分库分表提到了日程上，必须解决。
因为使用了JPA，如果分库分表需要对数据访问层做较大的改动，工作量太大，修改的风险也太高。恰好看到当当开源了其Sharding-JDBC组件，摘抄一段介绍：
https://github.com/dangdangdotcom/sharding-jdbc
Sharding-JDBC直接封装JDBC API，可以理解为增强版的JDBC驱动，旧代码迁移成本几乎为零：
可适用于任何基于java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。
可基于任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Druid等。
理论上可支持任意实现JDBC规范的数据库。虽然目前仅支持MySQL，但已有支持Oracle，SQLServer，DB2等数据库的计划。
它支持JPA，可以在几乎不修改代码的情况下完成分库分表的实现。因此，选择这个框架做一次分库分表的尝试。
先做一个最简单的试用，不做分库，仅做分表。选择数据表operate_history，这个数据表记录所有的操作历史，是整个系统中数据量最大的一个数据表。
希望将这个表拆分为四个数据表，分别是 operate_history_0operate_history_1 operate_history_2 operate_history_3。数据能够分配保存到四个数据表中，降低单表的数据量。同时，为了尽量减少跨表的查询操作，决定使用字段 entity_key为分表依据，这样同一个entity对象的所有操作，将会记录在同一个数据表中。拆分后的数据表结构为：
3 实现过程
以下是针对JPA项目的修改过程。其他项目请参考官方网站的文档。
3.1 修改pom.xml增加dependency
需要添加两个jar，sharding-jdbc-core和sharding-jdbc-config-spring。
<dependency>
<groupId>com.dangdang</groupId>
<artifactId>sharding-jdbc-core</artifactId>
<version>1.3.0</version>
</dependency>
<dependency>
<groupId>com.dangdang</groupId>
<artifactId>sharding-jdbc-config-spring</artifactId>
<version>1.3.0</version>
</dependency>
3.2 修改Spring中Database部分的配置
原Database配置
<bean id="dataSource"class="org.apache.tomcat.jdbc.pool.DataSource"destroy-method="close">
<propertyname="driverClassName"value="com.mysql.jdbc.Driver"></property>
<propertyname="url" value="jdbc:mysql://localhost:3306/sharding"></property>
<propertyname="username" value="root"></property>
<propertyname="password" value="sharding"></property>
</bean>
修改后的配置
<beanid="db-node-0"class="org.apache.tomcat.jdbc.pool.DataSource"destroy-method="close">
<property name="driverClassName"value="com.mysql.jdbc.Driver"></property>
<property name="url"value="jdbc:mysql://localhost:3306/sharding"></property>
<property name="username"value="root"></property>
<property name="password"value="sharding"></property>
</bean>
<rdb:strategyid="historyTableStrategy"
sharding-columns="entity_key"
algorithm-class="cn.codestory.sharding.SingleKeyTableShardingAlgorithm"/>
<rdb:data-sourceid="dataSource">
<rdb:sharding-ruledata-sources="db-node-0"default-data-source="db-node-0">
<rdb:table-rules>
<rdb:table-rulelogic-table="operate_history"
actual-tables="operate_history_0,operate_history_1,operate_history_2,operate_history_3"
table-strategy="historyTableStrategy" />
</rdb:table-rules>
</rdb:sharding-rule>
</rdb:data-source>
3.3 编写类SingleKeyTableShardingAlgorithm
这个类用来根据entity_key值确定使用的分表名。参考sharding提供的示例代码进行修改。核心代码如下
publicCollection<String> doInSharding(
Collection<String>availableTargetNames,
ShardingValue<Long>shardingValue) {
int targetCount = availableTargetNames.size();
Collection<String> result = newLinkedHashSet<>(targetCount);
Collection<Long> values =shardingValue.getValues();
for (Long value : values) {
for (String tableNames :availableTargetNames) {
if (tableNames.endsWith(value % targetCount+ "")) {
result.add(tableNames);
}
}
}
return result;
}
这是一个简单的实现，对entity_key进行求模，用余数确定数据表名。
3.4 修改主键生成方法
因为数据分表保存，不能使用identify方式生成数据表主键。如果主键是String类型，可以考虑使用uuid生成方法，但它查询效率会相对比较低。
如果使用long型主键，可以使用其他方式，一定要确保各个子表中的主键不重复。
3.5 历史数据的处理
根据数据分表的规则，需要对原有数据包的数据进行迁移，分别移动到四个数据表中。如果不做这一步，或者数据迁移到了错误的数据表，后续将会查询不到这些数据。
至此，对项目的修改基本完成，重新启动项目并增加operate_history数据，就会看到新添加的数据，已经根据我们的分表规则，插入到了某一个数据表中。查询的时候，能够同时查询到多个实际数据表中的数据。
4 数据分表规则的一些考虑
前面的例子，演示的是根据entity_key进行分表，也可以使用其他字段如主键进行分表。以下是我想到的一些分表规则：
根据主键进行分配
这种方式能够实现最平均的分配方法，每生成一条新数据，会依次保存到下一个数据表中。
根据用户ID进行分配
这种方式能够确保同一个用户的所有数据保存在同一个数据表中。如果经常按用户id查询数据，这是比较经济的一种做法。
根据某一个外键的值进行分配
前面的例子采用的就是这种方法，因为这个数据可能会经常根据这个外键进行查询。
根据时间进行分配
适用于一些经常按时间段进行查询的数据，将一个时间段内的数据保存在同一个数据表中。比如订单系统，缺省查询一个月之内的数据。
关注公众号可以获取各种学习视频 spring dubbo docker
