MySQL的逻辑查询语句的执行顺序
一 select语句关键字的定义顺序
select distinct <select_list> from <left_table> <join_type> join <right_table> on <join_condition> where <where_condition> group by <group_by_list> having <having_condition> order by <order_by_condition> limit <limit_number>
二 select语句关键字的执行顺序
(7) select (8) distinct <select_list> (1) from <left_table> (3) <join_type> join <right_table> (2) on <join_condition> (4) where <where_condition> (5) group by <group_by_list> (6) having <having_condition> (9) order by <order_by_condition> (10) limit <limit_number>
三 准备表和数据
\1. 新建一个测试数据库testdb;
create database testdb;
2.创建测试表table1和table2;
create table table1 ( customer_id varchar(10) not null, city varchar(10) not null, primary key(customer_id) )engine=innodb default charset=utf8; create table table2 ( order_id int not null auto_increment, customer_id varchar(10), primary key(order_id) )engine=innodb default charset=utf8;
3.插入测试数据;
insert into table1(customer_id,city) values('163','hangzhou'); insert into table1(customer_id,city) values('9you','shanghai'); insert into table1(customer_id,city) values('tx','hangzhou'); insert into table1(customer_id,city) values('baidu','hangzhou'); insert into table2(customer_id) values('163'); insert into table2(customer_id) values('163'); insert into table2(customer_id) values('9you'); insert into table2(customer_id) values('9you'); insert into table2(customer_id) values('9you'); insert into table2(customer_id) values('tx'); insert into table2(customer_id) values(null);
准备工作做完以后,table1和table2看起来应该像下面这样
mysql> select * from table1; +-------------+----------+ | customer_id | city | +-------------+----------+ | 163 | hangzhou | | 9you | shanghai | | baidu | hangzhou | | tx | hangzhou | +-------------+----------+ 4 rows in set (0.00 sec) mysql> select * from table2; +----------+-------------+ | order_id | customer_id | +----------+-------------+ | 1 | 163 | | 2 | 163 | | 3 | 9you | | 4 | 9you | | 5 | 9you | | 6 | tx | | 7 | null | +----------+-------------+ 7 rows in set (0.00 sec)
四 准备sql逻辑查询测试语句
#查询来自杭州,并且订单数少于2的客户。 select a.customer_id, count(b.order_id) as total_orders from table1 as a left join table2 as b on a.customer_id = b.customer_id where a.city = 'hangzhou' group by a.customer_id having count(b.order_id) < 2 order by total_orders desc;
五 执行顺序分析
在这些sql语句的执行过程中,都会产生一个虚拟表,用来保存sql语句的执行结果(这是重点),我现在就来跟踪这个虚拟表的变化,得到最终的查询结果的过程,来分析整个sql逻辑查询的执行顺序和过程。
执行from语句
第一步,执行from语句。我们首先需要知道最开始从哪个表开始的,这就是from告诉我们的。现在有了
关于什么是笛卡尔积,请自行google补脑。经过from语句对两个表执行笛卡尔积,会得到一个虚拟表,暂且叫vt1(vitual table 1),内容如下:
+-------------+----------+----------+-------------+ | customer_id | city | order_id | customer_id | +-------------+----------+----------+-------------+ | 163 | hangzhou | 1 | 163 | | 9you | shanghai | 1 | 163 | | baidu | hangzhou | 1 | 163 | | tx | hangzhou | 1 | 163 | | 163 | hangzhou | 2 | 163 | | 9you | shanghai | 2 | 163 | | baidu | hangzhou | 2 | 163 | | tx | hangzhou | 2 | 163 | | 163 | hangzhou | 3 | 9you | | 9you | shanghai | 3 | 9you | | baidu | hangzhou | 3 | 9you | | tx | hangzhou | 3 | 9you | | 163 | hangzhou | 4 | 9you | | 9you | shanghai | 4 | 9you | | baidu | hangzhou | 4 | 9you | | tx | hangzhou | 4 | 9you | | 163 | hangzhou | 5 | 9you | | 9you | shanghai | 5 | 9you | | baidu | hangzhou | 5 | 9you | | tx | hangzhou | 5 | 9you | | 163 | hangzhou | 6 | tx | | 9you | shanghai | 6 | tx | | baidu | hangzhou | 6 | tx | | tx | hangzhou | 6 | tx | | 163 | hangzhou | 7 | null | | 9you | shanghai | 7 | null | | baidu | hangzhou | 7 | null | | tx | hangzhou | 7 | null | +-------------+----------+----------+-------------+
总共有28(table1的记录条数 * table2的记录条数)条记录。这就是vt1的结果,接下来的操作就在vt1的基础上进行。
执行on过滤
执行完笛卡尔积以后,接着就进行on a.customer_id = b.customer_id条件过滤,根据on中指定的条件,去掉那些不符合条件的数据,得到vt2表,内容如下:
+-------------+----------+----------+-------------+ | customer_id | city | order_id | customer_id | +-------------+----------+----------+-------------+ | 163 | hangzhou | 1 | 163 | | 163 | hangzhou | 2 | 163 | | 9you | shanghai | 3 | 9you | | 9you | shanghai | 4 | 9you | | 9you | shanghai | 5 | 9you | | tx | hangzhou | 6 | tx | +-------------+----------+----------+-------------+
vt2就是经过on条件筛选以后得到的有用数据,而接下来的操作将在vt2的基础上继续进行。
添加外部行
这一步只有在连接类型为outer join时才发生,如left outer join、right outer join和full outer join。在大多数的时候,我们都是会省略掉outer关键字的,但outer表示的就是外部行的概念。
left outer join把左表记为保留表,得到的结果为:
+-------------+----------+----------+-------------+ | customer_id | city | order_id | customer_id | +-------------+----------+----------+-------------+ | 163 | hangzhou | 1 | 163 | | 163 | hangzhou | 2 | 163 | | 9you | shanghai | 3 | 9you | | 9you | shanghai | 4 | 9you | | 9you | shanghai | 5 | 9you | | tx | hangzhou | 6 | tx | | baidu | hangzhou | null | null | +-------------+----------+----------+-------------+
right outer join把右表记为保留表,得到的结果为:
+-------------+----------+----------+-------------+ | customer_id | city | order_id | customer_id | +-------------+----------+----------+-------------+ | 163 | hangzhou | 1 | 163 | | 163 | hangzhou | 2 | 163 | | 9you | shanghai | 3 | 9you | | 9you | shanghai | 4 | 9you | | 9you | shanghai | 5 | 9you | | tx | hangzhou | 6 | tx | | null | null | 7 | null | +-------------+----------+----------+-------------+
full outer join把左右表都作为保留表,得到的结果为:
+-------------+----------+----------+-------------+ | customer_id | city | order_id | customer_id | +-------------+----------+----------+-------------+ | 163 | hangzhou | 1 | 163 | | 163 | hangzhou | 2 | 163 | | 9you | shanghai | 3 | 9you | | 9you | shanghai | 4 | 9you | | 9you | shanghai | 5 | 9you | | tx | hangzhou | 6 | tx | | baidu | hangzhou | null | null | | null | null | 7 | null | +-------------+----------+----------+-------------+
添加外部行的工作就是在vt2表的基础上添加保留表中被过滤条件过滤掉的数据,非保留表中的数据被赋予null值,最后生成虚拟表vt3。
由于我在准备的测试sql查询逻辑语句中使用的是left join,过滤掉了以下这条数据:
| baidu | hangzhou | null | null |
现在就把这条数据添加到vt2表中,得到的vt3表如下:
+-------------+----------+----------+-------------+ | customer_id | city | order_id | customer_id | +-------------+----------+----------+-------------+ | 163 | hangzhou | 1 | 163 | | 163 | hangzhou | 2 | 163 | | 9you | shanghai | 3 | 9you | | 9you | shanghai | 4 | 9you | | 9you | shanghai | 5 | 9you | | tx | hangzhou | 6 | tx | | baidu | hangzhou | null | null | +-------------+----------+----------+-------------+
接下来的操作都会在该vt3表上进行。
执行where过滤
对添加外部行得到的vt3进行where过滤,只有符合
+-------------+----------+----------+-------------+ | customer_id | city | order_id | customer_id | +-------------+----------+----------+-------------+ | 163 | hangzhou | 1 | 163 | | 163 | hangzhou | 2 | 163 | | tx | hangzhou | 6 | tx | | baidu | hangzhou | null | null | +-------------+----------+----------+-------------+
但是在使用where子句时,需要注意以下两点:
- 由于数据还没有分组,因此现在还不能在where过滤器中使用
where_condition=min(col)
这类对分组统计的过滤; - 由于还没有进行列的选取操作,因此在select中使用列的别名也是不被允许的,如:
select city as c from t where c='shanghai';
是不允许出现的。
执行group by分组
grou by子句主要是对使用where子句得到的虚拟表进行分组操作。我们执行测试语句中的group by a.customer_id,就会得到以下内容(默认只显示组内第一条):
+-------------+----------+----------+-------------+ | customer_id | city | order_id | customer_id | +-------------+----------+----------+-------------+ | 163 | hangzhou | 1 | 163 | | baidu | hangzhou | null | null | | tx | hangzhou | 6 | tx | +-------------+----------+----------+-------------+
得到的内容会存入虚拟表vt5中,此时,我们就得到了一个vt5虚拟表,接下来的操作都会在该表上完成。
执行having过滤
having子句主要和group by子句配合使用,对分组得到的vt5虚拟表进行条件过滤。当我执行测试语句中的having count(b.order_id) < 2时,将得到以下内容:
+-------------+----------+----------+-------------+ | customer_id | city | order_id | customer_id | +-------------+----------+----------+-------------+ | baidu | hangzhou | null | null | | tx | hangzhou | 6 | tx | +-------------+----------+----------+-------------+
这就是虚拟表vt6。
select列表
现在才会执行到select子句,不要以为select子句被写在第一行,就是第一个被执行的。
我们执行测试语句中的select a.customer_id, count(b.order_id) as total_orders,从虚拟表vt6中选择出我们需要的内容。我们将得到以下内容:
+-------------+--------------+ | customer_id | total_orders | +-------------+--------------+ | baidu | 0 | | tx | 1 | +-------------+--------------+
还没有完,这只是虚拟表vt7。
执行distinct子句
如果在查询中指定了distinct子句,则会创建一张内存临时表(如果内存放不下,就需要存放在硬盘了)。这张临时表的表结构和上一步产生的虚拟表vt7是一样的,不同的是对进行distinct操作的列增加了一个唯一索引,以此来除重复数据。
由于我的测试sql语句中并没有使用distinct,所以,在该查询中,这一步不会生成一个虚拟表。
执行order by子句
对虚拟表中的内容按照指定的列进行排序,然后返回一个新的虚拟表,我们执行测试sql语句中的order by total_orders desc,就会得到以下内容:
+-------------+--------------+ | customer_id | total_orders | +-------------+--------------+ | tx | 1 | | baidu | 0 | +-------------+--------------+
可以看到这是对total_orders列进行降序排列的。上述结果会存储在vt8中。
执行limit子句
limit子句从上一步得到的vt8虚拟表中选出从指定位置开始的指定行数据。对于没有应用order by的limit子句,得到的结果同样是无序的,所以,很多时候,我们都会看到limit子句会和order by子句一起使用。
mysql数据库的limit支持如下形式的选择:
limit n, m
表示从第n条记录开始选择m条记录。而很多开发人员喜欢使用该语句来解决分页问题。对于小数据,使用limit子句没有任何问题,当数据量非常大的时候,使用limit n, m是非常低效的。因为limit的机制是每次都是从头开始扫描,如果需要从第60万行开始,读取3条数据,就需要先扫描定位到60万行,然后再进行读取,而扫描的过程是一个非常低效的过程。所以,对于大数据处理时,是非常有必要在应用层建立一定的缓存机制(现在的大数据处理,大都使用缓存)