深入浅出索引&&阅读笔记
索引的出现其实就是为了提高数据查询的效率,就像书的目录一样。对于数据库的表而言,索引其实就是它的“目录”。
索引的常见模型
哈希表
有序数组
搜索树
哈希表
适用于只有等值查询
的场景。
有序数组
在等值查询
和范围查询
场景中的性能非常优秀,单看查询确实爽,但是需要更新的时候就麻烦了,数组你懂的,插入删除都是大问题。所以,有序数组索引只适用于静态存储引擎
,比如你要保存的是2017年某个城市的所有人口信息,这类不会再修改的数据。
二叉搜索树
:特征相信不必多言~ 时间复杂度为O(log(N)),前提是平衡二叉树。为了这个条件,更新的时间复杂度也是O(log(N))。
也有多叉树,就是每个节点有多个儿子,儿子之间的大小保证从左到右递增。
二叉树的搜索效率是最高的,但是数据库存储却不用二叉树
,因为索引不止存在内存中,还要写到磁盘上
一棵100万节点的平衡二叉树,树高20。一次查询可能需要访问20个数据块。在机械硬盘时代,从磁盘随机读一个数据块需要10 ms左右的寻址时间。也就是说,对于一个100万行的表,如果使用二叉树来存储,单独访问一个行可能需要20个10 ms的时间,这个查询可真够慢的。
使用“N叉”树,能让一个查询尽量少读磁盘,N叉树由于在读写上的性能优点,以及适配磁盘的访问模式,已经被广泛应用在数据库引擎中了
InnoDB 的索引模型
InnoDB里,表都是根据主键顺序以索引的形式存放,这种存储方式的表称为索引组织表。InnoDB使用的是B+树索引
,数据都是存储在B+树中。每一个索引在InnoDB中对应一颗B+树。
假设,我们有一个主键列为ID的表,表中有字段k,并且在k上有索引。
这个表的建表语句是:
mysql> create table T(
id int primary key,
k int not null,
name varchar(16),
index (k))engine=InnoDB;
表中R1~R5的(ID,k)值分别为(100,1)、(200,2)、(300,3)、(500,5)和(600,6),两棵树的示例示意图如下。
图中可看出,根据叶子节点的内容,索引类型分为主键索引
和非主键索引
。
主键索引的叶子节点存的是整行数据
。在InnoDB里,主键索引也被称为聚簇索引
(clustered index)。
非主键索引的叶子节点内容是主键的值
。在InnoDB里,非主键索引也被称为二级索引
(secondary index)。
基于主键索引和普通索引的查询有什么区别?
- 主键索引只需要根据主键搜索B+树
- 普通索引需要先从普通索引B+树上找到主键ID,再从主键索引树寻找一次,也就是有一个回表的过程
所以,我们应该尽量使用主键查询
索引维护
索引用着爽,但是需要维护,有时候维护的成本挺大。
如果插入的主键是处于索引树的一个中间节点的情况,需要逻辑上挪的数据,空出位置。
而更糟的情况是,如果因为该数据页已经满了,根据B+树的算法,这时候需要申请一个新的数据页,然后挪动部分数据过去。这个过程称为页分裂
。在这种情况下,性能自然会受影响。
页分裂操作还影响数据页的利用率。原本放在一个页的数据,现在分到两个页中,整体空间利用率降低大约50%。
有分裂就有合并。当相邻两个页由于删除了数据,利用率很低之后,会将数据页做合并。
主键长度越小,普通索引的叶子节点就越小,普通索引占用的空间也就越小,从性能
和存储空间
方面考量,自增主键
往往是更合理的选择,保证了有序插入,维护成本较小
ps:数据库分库情况下,用自增主键肯定走不通了,我们可以使用推特的雪花算法,生成全局唯一发号器同时,id也是保持递增的。
覆盖索引
还是上图那个表。
如果执行的语句是select ID from T where k between 3 and 5,这时只需要查ID的值,而ID的值已经在k索引树上了,可以直接提供查询结果,不需要回表。索引k已经“覆盖了”我们的查询需求,我们称为覆盖索引。
由于覆盖索引可以减少树的搜索次数,显著提升查询性能,所以使用覆盖索引是一个常用的性能优化手段。
最左前缀原则
假设这个市民表的定义是这样的:
CREATE TABLE `tuser` (
`id` int(11) NOT NULL,
`id_card` varchar(32) DEFAULT NULL,
`name` varchar(32) DEFAULT NULL,
`age` int(11) DEFAULT NULL,
`ismale` tinyint(1) DEFAULT NULL,
PRIMARY KEY (`id`),
KEY `id_card` (`id_card`),
KEY `name_age` (`name`,`age`)
) ENG
为每一种查询都设计一个索引,索引是不是太多了?如果不设索引,我又不想它走全表扫描,但是有了索引,我这个查询又很少用到,是不是有点浪费?
B+树这种索引结构,可以利用索引的“最左前缀”,来定位记录。
用(name,age)这个联合索引来分析
索引项是按照索引定义里面出现的字段顺序排序的
查询所有名字是“张三” 的人,可以快速定位到ID4,往后遍历即可得到所有需要的结果。
要查所有名字第一个字是“张” 的人,使用模糊查询,前提是sql语句长这样where name like ‘张%’
(而不是where name like ‘%张%’
,后者是不会走索引查询的),这时也用上了这个索引,查找到ID3,往后遍历。
只要满足最左前缀,就可以利用索引来加速检索。这个最左前缀可以是联合索引的最左N个字段,也可以是字符串索引的最左M个字符。
在建立联合索引的时候,如何安排索引内的字段顺序?
这里的评估标准是,索引的复用能力。因为有最左前缀的存在,当已经有了(a,b)这个联合索引后,一般就不需要单独在a上建立索引了。因此,第一原则是,如果通过调整顺序,可以少维护一个索引,那么这个顺序往往就是需要优先考虑采用的。
那么,如果既有联合查询,又有基于a、b各自的查询呢?查询条件里面只有b的语句,是无法使用(a,b)这个联合索引的,这时候你不得不维护另外一个索引,也就是说你需要同时维护(a,b)、(b) 这两个索引。
这时候,要考虑的原则就是空间了。比如上面这个市民表的情况,name字段是比age字段大的 ,那我就建议你创建一个(name,age)的联合索引和一个(age)的单字段索引。
索引下推
满足最左前缀原则的时候,可在索引中定位记录
那如果不符合最左前缀原则,怎么办?
以市民表的联合索引(name, age)为例。如果现在有一个需求:检索出表中“名字第一个字是张,而且年龄是10岁的所有男孩”。那么,SQL语句是这么写的:
mysql> select * from tuser where name like '张%' and age=10 and ismale=1;
根据最左前缀,是找到张*了,但是接下来得遍历判断年龄了。
在MySQL 5.6之前,只能从ID3开始一个个回表。到主键索引上找出数据行,再对比字段值。
而MySQL 5.6 引入的索引下推优化(index condition pushdown), 可以在索引遍历过程中,对索引中包含的字段先做判断,直接过滤掉不满足条件的记录,减少回表次数。
图3 无索引下推执行流程:
这个过程InnoDB并不会去看age的值,只是按顺序把“name第一个字是’张’”的记录一条条取出来回表。因此,需要回表4次。
图4 索引下推执行流程:
InnoDB在(name,age)索引内部就判断了age是否等于10,对于不等于10的记录,直接判断并跳过。只需要对ID4、ID5这两条记录回表取数据判断,就只需要回表2次。
下一篇: 第六天学习python
推荐阅读
-
海量数据库设计第三课:索引(笔记)
-
CI框架源码阅读笔记8 控制器Controller.php_PHP教程
-
Red编译器阅读笔记(2)
-
CI框架源码阅读笔记8 控制器Controller.php,cicontroller.php_PHP教程
-
c++primer plus阅读笔记(七)
-
Feature Pyramid Networks for Object Detection 阅读笔记
-
JavaScript高级程序设计 阅读笔记(十七) js事件_javascript技巧
-
c++primer plus阅读笔记(八)
-
CI框架源码阅读笔记8 控制器Controller.php
-
SQL学习笔记八 索引,表连接,子查询,ROW_NUMBER