MySQL优化系列（二）--查找优化（1）（非索引设计）

程序员文章站 2022-03-08 20:09:45

搜索优化的整体思路
查询优化的因素思路
- 是否向数据库请求了不需要的数据
- mysql是否扫描额外的纪录
- 查询方式
  - 一个复杂查询 or 多个简单查询
  - 切分查询
  - 分解关联查询
查询的流程（站在后端开发者角度）。

查看MySQL整体状态
开启慢查询日志
- 在配置文件my.cnf或my.ini中在[mysqld]一行下面加入两个配置参数
- 查看日志启动状态
- 设置慢日志开启
- 查询long_query_time 的值
- 为了方便测试，可以将修改慢查询时间为3秒
- 以后就往我们设置的日志路径去访问日志即可
explain查询分析
profiling查询分析

明确需要的字段，要多少就写多少字段
使用分页语句：limit start , count 或者条件 where子句
如果是有序的查询，可使用ORDER BY
开启查询缓存
建立索引（下篇博客再详讲）

一、明确搜索优化的整体思路以及查询优化的因素：

    select * from tag 

　　　　　　　join tag_post on tag_post.tag_id = tag.id

　　　　　　　join post on tag_post.post_id = post.id

　　　　where tag.tag = 'mysql'

　　　　可以分解成下面这些查询来代替：

　　　　> select * from tag where tag = 'mysql'

　　　　> select * from tag_post where tag_id = 1234

　　　　> select * from post where post_id in (123, 456, 567, 9098, 8904)

MySQL优化系列（二）--查找优化（1）（非索引设计）

二、优化查询前的几个工具说明：

MySQL优化系列（二）--查找优化（1）（非索引设计）

MySQL优化系列（二）--查找优化（1）（非索引设计）

MySQL优化系列（二）--查找优化（1）（非索引设计）

MySQL优化系列（二）--查找优化（1）（非索引设计）

more  slow.log

MySQL优化系列（二）--查找优化（1）（非索引设计）

MySQL优化系列（二）--查找优化（1）（非索引设计）

MySQL优化系列（二）--查找优化（1）（非索引设计）

MySQL优化系列（二）--查找优化（1）（非索引设计）

Show Profile命令格式：

SHOW PROFILE [type [, type] … ]                                    

    [FOR QUERY n]                                                            

    [LIMIT row_count [OFFSET offset]]        



type参数：                                                                                 

  |ALL                                                                               

  | BLOCK IO                                                                      

  | CONTEXT SWITCHES                                                   

  | CPU                                                                              

  | IPC                                                                                

  | MEMORY                                                                            

  | PAGE FAULTS                                                               

  | SOURCE                                                                        

  | SWAPS

三、单表查询步步优化：（暂不讨论索引，在下篇文章再详解索引）

//最傻的查询方式
select * from commodity_list

select  d.Good_ID ,
        d.Classify_ID,
        d.Good_Name,
        d.Monthsale_Num,
        d.Store_Name,
        d.Comment_Num,
        d.Good_Brand,
        d.Ishas_License,
        ifnull(d.Good_Hot,0),
        d.Good_Price,
        d.Store_Add,
        d.Store_Age,
        d.Seller_Credit,
        d.Classify_Description
        from
        Commodity_list d;

SELECT select_list　　　
FROM table_name　　
[ WHERE search_condition ]　　
[ GROUP BY group_by_expression ]　　
[ HAVING search_condition ]　　
[ ORDER BY order_expression [ ASC | DESC ] ]
[limit m,n]

select
        d.Good_ID ,
        d.Classify_ID,
        d.Good_Name,
        d.Monthsale_Num,
        d.Store_Name,
        d.Comment_Num,
        d.Good_Brand,
        d.Ishas_License,
        ifnull(d.Good_Hot,0),
        d.Good_Price,
        d.Store_Add,
        d.Store_Age,
        d.Seller_Credit,
        d.Classify_Description
        from
        Commodity_list d
        where Classify_ID=23
        limit 1,10000
        ;

每条数据的实际存储长度不一样（所以必须要依次遍历，不能直接跳过前面的一部分）
哪怕是每条数据存储长度一样，如果之前有过delete操作，那索引上的排列就有gap
所以数据不是定长存储，不能像数组那样用index来访问，只能依次遍历，就导致偏移量越大查询越费时

select *
        from
        score 
        WHERE id>0 LIMIT 10000
        ;
select *
        from
        score 
        WHERE id>10000 LIMIT 10000
        ;
select *
        from
        score 
        WHERE id>20000 LIMIT 10000
        ;

        ......

select *
        from
        score 
        WHERE id>0
        ORDER BY score ASC
        LIMIT 10000
        ;

Qcache_free_blocks: 缓存池中空闲块的个数

Qcache_free_memory: 缓存中空闲内存量

Qcache_hits: 缓存命中次数

Qcache_inserts: 缓存写入次数

Qcache_lowmen_prunes: 因内存不足删除缓存次数

Qcache_not_cached: 查询未被缓存次数,例如查询结果超出缓存块大小,查询中包含可变函数等

Qcache_queries_in_cache: 当前缓存中缓存的SQL数量

Qcache_total_blocks: 缓存总block数

（5）建立索引（下篇博客再详讲）

源码下载：工程以及数据库文件下载

MySQL优化系列（二）--查找优化（1）（非索引设计）

接下来这篇是查询优化，用户80%的操作基本都在查询，我们有什么理由不去优化他呢？？所以这篇博客将会讲解大量的查询优化（索引以及库表结构优化等高级用法后面文章再讲），先讲单表查优化，再讲多表查优化。

本系列：demo下载

（一）MySQL优化笔记（一）–库与表基本操作以及数据增删改

（二）MySQL优化笔记（二）–查找优化（1）（非索引设计）

（三）MySQL优化笔记（二）–查找优化（2）（外连接、多表联合查询以及查询注意点）

（四） MySQL优化笔记（三）–索引的使用、原理和设计优化

（五） MySQL优化笔记（四）–表的设计与优化（单表、多表）

（六）MySQL优化笔记（五）–数据库存储引擎

（七）MySQL优化系列（六）--存储过程和存储函数

文章结构：（1）明确搜索优化的整体思路以及查询优化的因素；（2）优化查询前的几个工具说明；（3）单表查询步步优化；

文章目录：

（1）明确搜索优化的整体思路以及查询优化的因素

（2）优化查询前的几个工具说明

（3）单表查询步步优化：（暂不讨论索引，在下篇文章再详解索引）

数据库文件依然是： 数据库文件，这篇主要看商品表

一、明确搜索优化的整体思路以及查询优化的因素：

（1）搜索优化的整体思路：

索引优化，查询优化，查询缓存，服务器设置优化，操作系统和硬件优化，应用层面优化（web服务器，缓存）等等。对于一个整体项目而言只有这些齐头并进，才能实现mysql高性能。

（2）查询优化的因素思路：

[一]是否向数据库请求了不需要的数据。

也就是说不要轻易使用select * from ，能明确多少数据就查多少个

[二]mysql是否扫描额外的纪录

查询是否扫描了过多的数据。最简单的衡量查询开销三个指标如下：响应时间；扫描的行数；返回的行数。

没有哪个指标能够完美地衡量查询的开销，但它们大致反映了mysql在内部执行查询时需要多少数据，并可以推算出查询运行的时间。

这三个指标都会记录到mysql的慢日志中，所以检查慢日志记录是找出扫描行数过多的查询的好办法。

扫描的行数和返回的行数：分析查询时，查看该查询扫描的行数是非常有帮助的。这在一定程度上能够说明该查询找到需要的数据的效率高不高。

如果发现查询需要扫描大量的数据但只返回少数的行，那么通常可以尝试下面的技巧去优化它：

使用索引覆盖扫描。

改变库表结构。例如使用单独的汇总表。

重写这个复杂的查询。让mysql优化器能够以更优化的方式执行这个查询。

[三]查询方式：

1. 一个复杂查询 or 多个简单查询

设计查询的时候一个需要考虑的重要问题是，是否需要将一个复杂的查询分成多个简单的查询。

2.切分查询

有时候对于一个大查询我们需要“分而治之”，将大查询切分为小查询，每个查询功能完全一样，只完成一小部分，每次只返回一小部分查询结果。

3.分解关联查询

分解关联查询

让缓存的效率更高。

将查询分解后，执行单个查询可以减少锁的竞争。

在应用层做关联，可以更容易对数据库进行拆分，更容易做到高性能和可扩展。

查询本身效率也可能会有所提升。

可以减少冗余记录的查询，

更进一步，这样做相当于在应用中实现了哈希关联，而不是使用mysql的嵌套循环关联。

（3）查询的流程（站在后端开发者角度）：摘自此博主此文章

1.客户端发送一条查询给服务器

2.服务器先检查查询缓存，如果命中了缓存，则立刻返回存储在缓存中的结果，否则进入下一阶段。

3.服务器进行SQL解析，预处理，再由优化器生成对应的执行计划，

4.mysql根据优化器生成的执行计划，调用存储引擎的API来执行查询。

5.将结果返回给客户端。

二、优化查询前的几个工具说明：

（1）查看MySQL整体状态：

1. Mysql> show status; ——显示状态信息（扩展show status like ‘XXX’）

2. Mysql>show variables ——显示系统变量（扩展show variables like ‘XXX’）

3. Mysql>show innodb status ——显示InnoDB存储引擎的状态

4. Mysql>show processlist ——查看当前SQL执行，包括执行状态、是否锁表等

5. Shell> mysqladmin variables -u username -p password——显示系统变量

6. Shell> mysqladmin extended-status -u username -p password——显示状态信息

7. Shell> mysqld –verbose –help [|more #逐行显示] 查看状态变量及帮助：

（2）开启慢查询日志：

1. 在配置文件my.cnf或my.ini中在[mysqld]一行下面加入两个配置参数

log-slow-queries={自己想存放的日志路径}/slow-query.log

long_query_time=2

注：log-slow-queries参数为慢查询日志存放的位置，一般这个目录要有mysql的运行帐号的可写权限，一般都将这个目录设置为mysql的数据存放目录；

long_query_time=2中的2表示查询超过两秒才记录；

在my.cnf或者my.ini中添加log-queries-not-using-indexes参数，表示记录下没有使用索引的查询。

log-slow-queries=/data/mysqldata/slow-query.log

long_query_time=10

log-queries-not-using-indexes

2. 查看日志启动状态：show variables like “slow%”;

3. 设置慢日志开启: set global slow_query_log = ON;

4. 查询long_query_time 的值 ：

show variables like “long%”;

5. 为了方便测试，可以将修改慢查询时间为3秒。（小点容易比较，毕竟mysql处理那么快）

6.以后就往我们设置的日志路径去访问日志即可：

（3）explain查询分析：

使用 EXPLAIN 关键字可以模拟优化器执行SQL查询语句，从而知道MySQL是如何处理你的SQL语句的。这可以帮你分析你的查询语句或是表结构的性能瓶颈。通过explain命令可以得到:

表的读取顺序

数据读取操作的操作类型

哪些索引可以使用

数据库文件依然是：数据库文件，这篇主要看商品表

4. 查询long_query_time 的值：

测试完毕以后，关闭参数：mysql> set profiling=0