MySQL的查询缓存机制基本学习教程
mysql缓存机制简单的说就是缓存sql文本及查询结果，如果运行相同的sql，服务器直接从缓存中取到结果，而不需要再去解析和执行sql。如果表更改 了，那么使用这个表的所有缓冲查询将不再有效，查询缓存值的相关条目被清空。更改指的是表中任何数据或是结构的改变，包括insert、update、 delete、truncate、alter table、drop table或drop database等，也包括那些映射到改变了的表的使用merge表的查询。显然，这对于频繁更新的表，查询缓存是不适合的，而对于一些不常改变数据且有 大量相同sql查询的表，查询缓存会节约很大的性能。
命中条件
缓存存在一个hash表中,通过查询sql,查询数据库,客户端协议等作为key.在判断是否命中前,mysql不会解析sql,而是直接使用sql去查询缓存,sql任何字符上的不同,如空格,注释,都会导致缓存不命中.
如果查询中有不确定数据,例如current_date()和now()函数,那么查询完毕后则不会被缓存.所以,包含不确定数据的查询是肯定不会找到可用缓存的
工作流程
1. 服务器接收sql,以sql和一些其他条件为key查找缓存表(额外性能消耗)
2. 如果找到了缓存,则直接返回缓存(性能提升)
3. 如果没有找到缓存,则执行sql查询,包括原来的sql解析,优化等.
4. 执行完sql查询结果以后,将sql查询结果存入缓存表(额外性能消耗)
缓存失效
当某个表正在写入数据,则这个表的缓存(命中检查,缓存写入等)将会处于失效状态.在innodb中,如果某个事务修改了表,则这个表的缓存在事务提交前都会处于失效状态,在这个事务提交前,这个表的相关查询都无法被缓存.
缓存的内存管理
缓存会在内存中开辟一块内存(query_cache_size)来维护缓存数据,其中有大概40k的空间是用来维护缓存的元数据的,例如空间内存,数据表和查询结果的映射,sql和查询结果的映射等.
mysql将这个大内存块分为小的内存块(query_cache_min_res_unit),每个小块中存储自身的类型,大小和查询结果数据,还有指向前后内存块的指针.
mysql需要设置单个小存储块的大小,在sql查询开始(还未得到结果)时就去申请一块空间,所以即使你的缓存数据没有达到这个大小,也需要用这个大小的数据块去存(这点跟linux文件系统的block一样).如果结果超出这个内存块的大小,则需要再去申请一个内存块.当查询完成发现申请的内存块有富余,则会将富余的空间释放掉,这就会造成内存碎片问题,见下图
此处查询1和查询2之间的空白部分就是内存碎片,这部分空闲内存是有查询1查询完以后释放的,假设这个空间大小小于mysql设定的内存块大小,则无法再被使用,造成碎片问题
在查询开始时申请分配内存block需要锁住整个空闲内存区,所以分配内存块是非常消耗资源的.注意这里所说的分配内存是在mysql初始化时就开辟的那块内存上分配的.
缓存的使用时机
衡量打开缓存是否对系统有性能提升是一个很难的话题
1. 通过缓存命中率判断, 缓存命中率 = 缓存命中次数 (qcache_hits) / 查询次数 (com_select)
2. 通过缓存写入率, 写入率 = 缓存写入次数 (qcache_inserts) / 查询次数 (qcache_inserts)
3. 通过 命中-写入率 判断, 比率 = 命中次数 (qcache_hits) / 写入次数 (qcache_inserts), 高性能mysql中称之为比较能反映性能提升的指数,一般来说达到3:1则算是查询缓存有效,而最好能够达到10:1
缓存配置参数
1. query_cache_type: 是否打开缓存
可选项
1) off: 关闭
2) on: 总是打开
3) demand: 只有明确写了sql_cache的查询才会吸入缓存
2. query_cache_size: 缓存使用的总内存空间大小,单位是字节,这个值必须是1024的整数倍,否则mysql实际分配可能跟这个数值不同(感觉这个应该跟文件系统的blcok大小有关)
3. query_cache_min_res_unit: 分配内存块时的最小单位大小
4. query_cache_limit: mysql能够缓存的最大结果,如果超出,则增加 qcache_not_cached的值,并删除查询结果
5. query_cache_wlock_invalidate: 如果某个数据表被锁住,是否仍然从缓存中返回数据,默认是off,表示仍然可以返回
global staus 中 关于 缓存的参数解释:
qcache_free_blocks: 缓存池中空闲块的个数
qcache_free_memory: 缓存中空闲内存量
qcache_hits: 缓存命中次数
qcache_inserts: 缓存写入次数
qcache_lowmen_prunes: 因内存不足删除缓存次数
qcache_not_cached: 查询未被缓存次数,例如查询结果超出缓存块大小,查询中包含可变函数等
qcache_queries_in_cache: 当前缓存中缓存的sql数量
qcache_total_blocks: 缓存总block数
减少碎片策略
1. 选择合适的block大小
2. 使用 flush query cache 命令整理碎片.这个命令在整理缓存期间,会导致其他连接无法使用查询缓存
ps: 清空缓存的命令式 reset query cache
查询缓存问题分析
innodb与查询缓存
innodb会对每个表设置一个事务计数器,里面存储当前最大的事务id.当一个事务提交时,innodb会使用mvcc中系统事务id最大的事务id跟新当前表的计数器.
只有比这个最大id大的事务能使用查询缓存,其他比这个id小的事务则不能使用查询缓存.
另外,在innodb中,所有有加锁操作的事务都不使用任何查询缓存
查询必须是完全相同的(逐字节相同)才能够被认为是相同的。另外，同样的查询字符串由于其它原因可能认为是不同的。使用不同的数据库、不同的协议版本或者不同 默认字符集的查询被认为是不同的查询并且分别进行缓存。
下面sql查询缓存认为是不同的：
select * from tbl_name select * from tbl_name
查询缓存相关参数
mysql> show variables like '%query_cache%';
+------------------------------+---------+ | variable_name | value | +------------------------------+---------+ | have_query_cache | yes | --查询缓存是否可用 | query_cache_limit | 1048576 | --可缓存具体查询结果的最大值 | query_cache_min_res_unit | 4096 | | query_cache_size | 599040 | --查询缓存的大小 | query_cache_type | on | --阻止或是支持查询缓存 | query_cache_wlock_invalidate | off | +------------------------------+---------+
下面是一个简单的mysql查询缓存机制例子：
[mysql@csdba1850 ~]$ mysql -u root -p
enter password: welcome to the mysql monitor. commands end with ; or \g. your mysql connection id is 3 server version: 5.0.45-community mysql community edition (gpl) type 'help;' or '\h' for help. type '\c' to clear the buffer.
mysql> set global query_cache_size = 600000; --设置缓存内存
query ok, 0 rows affected (0.00 sec)
mysql> set session query_cache_type = on; --开启查询缓存
query ok, 0 rows affected (0.00 sec)
mysql> use test
reading table information for completion of table and column names you can turn off this feature to get a quicker startup with -a database changed
mysql> show tables;
+----------------+ | tables_in_test | +----------------+ | animals | | person | +----------------+ 5 rows in set (0.00 sec) mysql> select count(*) from animals; +----------+ | count(*) | +----------+ | 6 | +----------+ 1 row in set (0.00 sec) --qcache_hits表示sql查询在缓存中命中的累计次数，是累加值。
mysql> show status like 'qcache_hits';
+---------------+-------+ | variable_name | value | +---------------+-------+ | qcache_hits | 0 | --0次 +---------------+-------+ 8 rows in set (0.00 sec) mysql> select count(*) from animals; +----------+ | count(*) | +----------+ | 6 | +----------+ 1 row in set (0.00 sec)
mysql> show status like 'qcache%';
+---------------+-------+ | variable_name | value | +---------------+-------+ | qcache_hits | 1 | --表示sql在缓存中直接得到结果，不需要再去解析 +---------------+-------+ 8 rows in set (0.00 sec)
mysql> select count(*) from animals;
+----------+ | count(*) | +----------+ | 6 | +----------+ 1 row in set (0.00 sec)
mysql> select count(*) from animals;
+----------+ | count(*) | +----------+ | 6 | +----------+ 1 row in set (0.00 sec)
mysql> show status like 'qcache_hits';
+---------------+-------+ | variable_name | value | +---------------+-------+ | qcache_hits | 3 | --上面的sql也是是从缓存中直接取到结果 +---------------+-------+ 1 row in set (0.00 sec)
mysql> insert into animals select 9,'testsds' ; --插入数据后，跟这个表所有相关的sql缓存就会被清空掉
query ok, 1 row affected (0.00 sec) records: 1 duplicates: 0 warnings: 0
mysql> select count(*) from animals;
+----------+ | count(*) | +----------+ | 7 | +----------+ 1 row in set (0.00 sec)
mysql> show status like 'qcache_hits';
+---------------+-------+ | variable_name | value | +---------------+-------+ | qcache_hits | 3 | --还是等于3，说明上一条sql是没有直接从缓存中直接得到的 +---------------+-------+ 1 row in set (0.00 sec)
mysql> select count(*) from animals;
+----------+ | count(*) | +----------+ | 7 | +----------+ 1 row in set (0.00 sec)
mysql> show status like 'qcache_hits';
+---------------+-------+ | variable_name | value | +---------------+-------+ | qcache_hits | 4 | +---------------+-------+ 1 row in set (0.00 sec)