MySQL分表和分区的具体实现方法
垂直分表
垂直分表就是一个包含有很多列的表拆分成多个表,比如表a包含20个字段,现在拆分成表a1和a2,两个表各十个字段(具体如何拆根据业务来选择)。
优势:在高并发的情境下,可以减少表锁和行锁的次数。
劣势:在数据记录非常大的情况下,读写速度还是会遇到瓶颈。
水平分表
假如某个网站,它的数据库的某个表已经达到了上亿条记录,那么此时如果通过select去查询,在没有索引的情况下,他的查询会非常慢,那么就可以通过hash算法将这个表分成10个子表(此时每个表的 的数据量只有1000万条了)。
同时生成一个总表,记录各个子表的信息,假如查询一条id=100的记录,它不再需要全表扫描,而是通过总表找到该记录在哪个对应的子表上,然后再去相应的表做检索,这样就降低了io压力。
劣势:会给前端程序应用程序的sql代码的维护带来很大的麻烦,这时候可以使用mysql的merge存储引擎实现分表。
---------------------------------------我是蛋疼的分割线----------------------------------------------------
用merge存储引擎分表,对应用程序的sql语句来说是透明的,不需要修改任何代码。
create table t1 ( a int not null auto_increment primary key, message char(20)); create table t2 ( a int not null auto_increment primary key, message char(20)); insert into t1 (message) values ('testing'),('table'),('t1'); insert into t2 (message) values ('testing'),('table'),('t2'); create table total (a int not null auto_increment primary key, message char(20)) engine=merge union=(t1,t2) insert_method=last;
在创建total表的时候可能报错:
unable to open underlying table which is differently defined or of non-myisam type or doesn't exist
实际上merge存储引擎是一个虚拟的表,对应的实际表必须是myisam类型的表,如果你的mysql是5.1以上版本,默认数据库使用的事innodb存储引擎的,所以在创建total时,t1和t2表必须是myisam存储引擎的。
如果需要定期增加分表,只需要修改merge表的union即可。
create table t3( a int not null auto_increment primary key, message char(20)); alter table total union=(t1,t2,t3)
横向分区
举例说明:假如有100w条数据,分成十份,前10w条数据放到第一个分区,第二个10w条数据放到第二个分区,依此类推。取出一条数据的时候,这条数据包含了表结构中的所有字段,横向分区并没有改变表的结构。
纵向分区
举例说明:在设计用户表的时候,开始的时候没有考虑好,而把个人的所有信息都放到了一张表里面去,这个表里面就会有比较大的字段,如个人简介,而这些简介呢,也许不会有好多人去看,所以等到有人要看的时候,再去查找,分表的时候,可以把这样的大字段,分开来
完整的一张表,都对应三个文件,一个.myd数据文件,.myi索引文件,.frm表结构文件。