分库分表之第一篇
分库分表之第一篇
小明是一家初创电商平台的开发人员，他负责卖家模块的功能开发，其中涉及了店铺、商品的相关业务，设计如下数据库 ：
通过以下sql能够获取到商品相关的店铺信息、地理区域信息 ：
select p.*,r.[地理区域名称],s.[店铺名称],s.[信誉] from [商品信息] p left join [地理区域] r on p.[产地] = r.[地理区域编码] left join [店铺信息] s on p.id = s.[所属店铺] where p.id = ?
形成类似以下列表展示 ：
随着公司业务快速发展，数据库中的数据量猛增，访问性能也变慢了，优化迫在眉睫。分析一下问题出现在哪儿 呢? 关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到 1000w或100g以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。
方案1:
通过提升服务器硬件能力来提高数据处理能力，比如增加存储容量 、cpu等，这种方案成本很高，并且如果瓶颈在
mysql本身那么提高硬件也是有很的。
方案2:
把数据分散在不同的数据库中，使得单一数据库的数据量变小来缓解单一数据库的性能问题，从而达到提升数据库 性能的目的，如下图:将电商数据库拆分为若干独立的数据库，并且对于大表也拆分为若干小表，通过这种数据库 拆分的方法来解决数据库的性能问题。
分库分表就是为了解决由于数据量过大而导致数据库性能降低的问题，将原来独立的数据库拆分成若干数据库组成，将数据大表分成若干数据表组成，使得单一数据库、单一数据表的数据量变小，从而达到提升数据库性能的目的。
分库分表包括分库和分表两个部分，在生产中通常包括 ：垂直分库、水平分库、垂直分表、水平分表四种方式。
下边通过一个商品查询的案例来垂直分表 ：
通常在商品列表中是不是显示商品详情信息的，如下图 ：
用户在浏览商品列表时，只有对某商品感兴趣时才会查看商品的详细描述。因此，商品信息中商品描述字段访问频次较低，且该字段存储占用空间较大，访问单个数据io时间较长；商品信息中商品名称、商品图片、商品价格等其他字段数据访问频次较高。
由于这两种数据的特性不一样，因此他考虑将商品信息表拆分如下 ：
将访问频次低的商品描述信息单独存放在一张表中，访问频次较高的商品基本信息单独放在一张表中。
商品列表可采用以下sql ：
select p.*,r.[地理区域名称],s.[店铺名称],s.[信誉] from [商品信息] p left join [地理区域] r on p.[产地] = r.[地理区域编码] left join [店铺信息] s on p.id = s.[所属店铺] where...order by...limit...
需要获取商品描述时，再通过以下sql获取 ：
select * from [商品描述] where [商品id] = ?
小明进行的这一步优化，就叫垂直分表。
垂直分表定义 ：将一个表按照字段分成多表，每个表存储其中一部分字段。
它带来的提升是 ：
1.为了避免io争抢并减少锁表的几率，查看详情的用户与商品信息浏览互不影响。
2.充分发挥热门数据的操作效率，商品信息的操作的高效率不会被商品描述的低效率所拖累。
注意 ：
为什么大字段io效率低 ：
第一是由于数据量本身大，需要更长的读取时间；
第二是跨页，页是数据库存储单位，很多查找及定位操作都是以页为单位，单页内的数据行越多数据库整体性能越好，而大字段占用空间大，单页内存储行数少，因此io效率较低。
第三，数据库以行为单位将数据加载到内存中，这样表中字段长度较短且访问频率较高，内存能加载更多的数据，命中率更高，减少来磁盘io，从而提升来数据库性能。
一般来说，某业务实体中的各个数据项的访问频次是不一样的，部分数据项可能是占用存储空间比较大的blob或是text。例如上例中的商品描述。所以，当表数据量很大时，可以将表按字段切开，将热门字段、冷门字段分开放置在不同库中，这些库可以放在不同的存储设置上，避免io争抢。垂直切分带来的性能提升主要集中在热门数据的操作效率上，而且磁盘争用情况减少。
通常我们按以下原则进行垂直拆分 ：
1、把不常用的字段单独放在一张表；
2、把text，blob等大字段拆分出来放在附表中；
3、经常组合查询的列放在一张表中；
通过垂直分表能得到来一定程度的提升，但是还没有达到要求，并且磁盘空间也快不够来，因为数据还是始终限制在一台服务器，库内垂直分表只解决来单一表数据量过大的问题，但没有将表分布到不同的服务器上，因此每个表还是竞争同一个物理机的cpu、内存、网络io
、磁盘。
经过思考，他把原来的seller_db（卖家库），分为来product_db (商品库)和store_db（店铺库），并把这两个库分散到不同服务器，如下图 ：
由于商品信息与商品描述业务耦合度较高，因此一起被存放在product_db（商品库）；而店铺信息相对独立，因此单独被存放在store_db（店铺库）。
小明进行的这一步优化，就叫垂直分库。
垂直分库是指按照业务将表进行分类，分布到不同的数据库上面，每个库可以放不同的服务器上，它的核心理念是专库专用。
它带来的提升是 ：
- 解决业务层面的耦合，业务清晰
- 能对不同业务的数据进行分级管理、维护、监控、扩展等
- 高并发场景下，垂直分库一定程度的提升io、数据库连接数、降低单机硬件资源的瓶颈
垂直分库通过将表按业务分类，然后分库在不同数据库，并且可以将这些数据库部署在不同服务器上，从而达到多个服务器共同分摊压力的效果，但是依然没有解决单表数据量过大的问题。
经过垂直分库后，数据库性能问题得到一定程度的解决，但是随着业务量的增长，product_db（商品库）单库存储数据已经超出预估。粗粮统计，目前有8w店铺，每个店铺平均150个不同规格的商品，再算增长，那商品数量的往1500w+上预估，并且product_db（商品库）属于访问非常频繁的资源，单台服务器已经无法支撑。此时该如何优化？
再次分库？但是从业务角度分析，目前情况已经无法再次垂直分库。可以尝试水平分库，将店铺id为单数的和店铺id为双数的商品信息分别放在两个库中。
也就是说，要操作其某条数据，先分析这条数据所属的店铺id。如果店铺id为双数，将此操作映射至product_db1（商品库1）；如果id为单数，将操作映射至rroduct_db2（商品库2）。此操作要访问数据库名称的表达式为rroduct_db【店铺id%2 + 1】.
小明进行的这一步优化，就叫水平分库。
水平分库是把同一个表的数据按一定规则拆分到不同的数据库中，每个库可以放不同的服务器上。
对比 ：垂直分库是把不同表拆到不同数据库中，它是对数据行的拆分，不影响表结构。
它带来的提升是 ：
- 解决来单库大数据，高并发的性能瓶颈。
- 提高来系统的稳定性及可用性。
稳定性体现在io冲突减少，锁定减少，可用性指某个库出问题，部分可用。
当一个应用难以再细粒度的垂直切分，或切分后数据量行巨大，存在单库读写、存储性能瓶颈，这时候就需要进行水平分库了，经过水平切分的优化，往往能解决单库存储量及性能瓶颈。但由于同一个表被分配在不同的数据库，需要额外进行数据操作的路由工作，因此大大提升了系统复杂度。
按照水平分库的思路对他把product_db_x（商品库）内的表也可以进行水平拆分，其目的也是为解决单表数据量大的问题，如下图 ：
与水平分库的思路类似，不过这次操作的目标是表，商品信息及商品描述被分成了两套表。如果商品id为双数，将此操作映射至商品信息1表；如果商品id为单数，将操作映射至商品信息2表。此操作要访问表名称的表达式为商品信息【商品id%2 + 1】。
小明进行的这一步优化，就叫水平分表。
水平分表是在同一个数据库内，把同一个表的数据按一定规则拆到多个表中。
它带来的提升是 ：
- 优化单一表数据量过大而产生的性能问题
- 避免io争抢并减少锁表的几率
库内的水平分表，解决来单一表数据量过大的问题，分出来的小表中只包含一部分数据，从而使得单个表的数据量变小，提高检索性能。
介绍来分库分表的几种方式，它们分别是垂直分表、垂直分库、水平分库和水平分表 ：
垂直分表 ：可以把一个宽表的字段按访问频次，是否是大字段的原则拆分为多个表，这样既能使业务清晰，还能提升部分性能。拆分后，尽量从业务角度避免联查，否则性能方面将得不偿失。
垂直分库 ：可以把多个表按业务耦合松紧归类，分别存放在不同的库，这些库可以分布在不同服务器，从而使访问压力被能服务器负载，大大提升性能，同时能提高整体架构的业务清晰度，不同的业务库可根据自身情况定制优化方案。但是它需要解决跨库带来的所有复杂问题。
水平分库 ：可以把一个表的数据（按数据行）分到多个不同的库，每个库只有这个表的部分数据，这些库可以分布在不同服务器，从而使访问压力被多服务器负载，大大提升性能。它不仅需要解决跨库带来的所有复杂问题，还要解决数据路由的问题（数据路由问题后边介绍）。
水平分表 ：可以把一个表的数据（按数据行）分到多个同一个数据库的多张表中，每个表只有这个表的部分数据，这样做能小幅提升性能，它仅仅作为水平分库的一个补充优化。
一般来说，在系统设计阶段就应该根据业务耦合松紧来确定垂直分库，垂直分表方案，在数据量及访问压力不是特别大的情况，首先考虑缓冲、读写分离、索引技术等方案。若数据量极大，且持续增长，再考虑水平分库水平分表方案。
分库分表能有效的缓解来单机和单库带来的性能瓶颈和压力，突破网络io、硬件资源、连接数的瓶颈，同时也带来了一些问题。
由于分库分表把数据分布在不同库甚至不同服务器，不可避免会带来分布式事务问题。
在没有分库前，我们检索商品时可以通过以下sql对店铺信息进行关联查询 ：
select p.*,r.[地理区域名称],s.[店铺名称],s.[信誉] from [商品信息] p left join [地理区域] r on p.[产地] = r.[地理区域编码] left join [店铺信息] s on p.id = s.[所属店铺] where...order by...limit...
但垂直分库后【商品信息】和【店铺信息】不在一个数据库，甚至不在一台服务器，无法进行关联查询。
可将原关联查询分为两次查询，第一次查询的结果集中找出关联数据id，然后根据id发起第二次请求得到关联数据，最后将获得到的数据进行拼装。
跨节点多库进行查询时，limit分页、order by排序等问题，就变得比较复杂了。需要先在不同的分片节点中将数据进行排序并返回，然后将不同分片返回的结果集进行汇总和再次排序。
如，进行水平分库后的商品库，按id倒序排序分页，取第一页 ：
以上流程是取第一页的数据，性能影响不大，但由于商品信息的分布在各数据库的数据可能是随机的，如果是取第n页，需要将所有节点前n页数据都取出来合并，再进行整体的排序，操作效率可想而知。所以请求页数越大，系统的性能也会越差。在使用max、min、sum、count之类的函数进行计算的时候，与排序分页同理，也需要先在每个分片上执行相应的函数，然后将各个分片的结果集进行汇总和再次计算，最终将结果返回。
在分库分表环境中，由于表中数据同时存在不同数据库中，主键值平时使用的自增长将无用武之地，某个分区数据库生成的id无法保证全局唯一。因此需要单独设计全局主键，比避免跨库主键重复问题。
实际的应用场景中，参数表、数据字典表等都是数据量较小，变动少，而且属于高频联合查询的依赖表。例子中地理区域表也属于此类型。
可以将这类表在每个数据库都保存一份，所有对公共表的更新操作都同时发送到分库执行。
由于分库分表之后，数据被分散在不同的数据库、服务器。因此，对数据的操作也就无法通过常规方式完成，并且它还带来了一系列的问题。好在，这些问题不是所有都需要我们在应用层面上解决，其中sharding-jdbc中间件可供选择。
sharding-jdbc是当当网研发的开源分布式数据库中间件，从 3.0 开始sharding-jdbc被包含在 sharding-sphere 中，之后该项目进入进入apache孵化器，4.0版本之后的版本为apache版本。
shardingsphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由sharding-jdbc、sharding- proxy和sharding-sidecar(计划中)这3款相互独立的产品组成。 他们均提供标准化的数据分片、分布式事务和 数据库治理功能，可适用于如java同构、异构语言、容器、云原生等各种多样化的应用场景。
官方地址:https://shardingsphere.apache.org/document/current/cn/overview/
咱们目前只需关注sharding-jdbc，它定位为轻量级java框架，在java的jdbc层提供的额外服务。 它使用客户端 直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的jdbc驱动，完全兼容jdbc和各种 orm框架。
sharding-jdbc的核心功能为数据分片和读写分离，通过sharding-jdbc，应用可以透明的使用jdbc访问已经分库 分表、读写分离的多个数据源，而不用关心数据源的数量以及数据如何分布。
- 适用于任何基于java的orm框架，如: hibernate, mybatis, spring jdbc template或直接使用jdbc。
- 基于任何第三方的数据库连接池，如:dbcp, c3p0, bonecp, druid, hikaricp等。
- 支持任意实现jdbc规范的数据库。目前支持mysql，oracle，sqlserver和postgresql。
上图展示了sharding-jdbc的工作方式，使用sharding-jdbc前需要人工对数据库进行分库分表，在应用程序中加入 sharding-jdbc的jar包，应用程序通过sharding-jdbc操作分库分表后的数据库和数据表，由于sharding-jdbc是对 jdbc驱动的增强，使用sharding-jdbc就像使用jdbc驱动一样，在应用程序中是无需指定具体要操作的分库和分表 的。
- 性能损耗测试 ：服务器资源充足、并发数相同，比较jdbc和sharding-jdbc性能损耗，sharding-jdbc相对jdbc损耗不超过7%。
基准测试性能对比 - 性能对比测试:服务器资源使用到极限，相同的场景jdbc与sharding-jdbc的吞吐量相当。
- 性能对比测试:服务器资源使用到极限，sharding-jdbc采用分库分表后，sharding-jdbc吞吐量较jdbc不分表有接近2倍的提升。
上一篇： 复杂类型json如何转化
下一篇： C#如何正确的做深拷贝