欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

多表查询与索引

程序员文章站 2023-11-09 09:10:10
多表查询连接 准备俩张员工信息表,我们要查询员工信息及员工所在部门.那么就需要俩张表进 行连接查询,多表查询. 外链接 语法 select 字段列表 from 表1 inner/left/right join 表2 on 表1.字段 = 表2.字段; 第一种情况交叉连接: 不适用任何匹配条件.生成笛 ......

多表查询连接

  准备俩张员工信息表,我们要查询员工信息及员工所在部门.那么就需要俩张表进

  行连接查询,多表查询.

  

  外链接 语法

    select 字段列表

      from 表1 inner/left/right join 表2 on 表1.字段 = 表2.字段;

  第一种情况交叉连接: 不适用任何匹配条件.生成笛卡尔积.

mysql> select * from employee,department;
+----+----------+--------+------+--------+------+--------------+
| id | name     | sex    | age  | dep_id | id   | name         |
+----+----------+--------+------+--------+------+--------------+
|  1 | egon     | male   |   18 |    200 |  200 | 技术          |
|  1 | egon     | male   |   18 |    200 |  201 | 人力资源      |
|  1 | egon     | male   |   18 |    200 |  202 | 销售         |
|  1 | egon     | male   |   18 |    200 |  203 | 运营         |
|  2 | alex     | female |   48 |    201 |  200 | 技术         |
|  2 | alex     | female |   48 |    201 |  201 | 人力资源      |
|  2 | alex     | female |   48 |    201 |  202 | 销售         |
|  2 | alex     | female |   48 |    201 |  203 | 运营         |
|  3 | wupeiqi  | male   |   38 |    201 |  200 | 技术         |
|  3 | wupeiqi  | male   |   38 |    201 |  201 | 人力资源      |
|  3 | wupeiqi  | male   |   38 |    201 |  202 | 销售         |
|  3 | wupeiqi  | male   |   38 |    201 |  203 | 运营         |
|  4 | yuanhao  | female |   28 |    202 |  200 | 技术         |
|  4 | yuanhao  | female |   28 |    202 |  201 | 人力资源      |
|  4 | yuanhao  | female |   28 |    202 |  202 | 销售         |
|  4 | yuanhao  | female |   28 |    202 |  203 | 运营         |
|  5 | nvshen   | male   |   18 |    200 |  200 | 技术         |
|  5 | nvshen   | male   |   18 |    200 |  201 | 人力资源      |
|  5 | nvshen   | male   |   18 |    200 |  202 | 销售         |
|  5 | nvshen   | male   |   18 |    200 |  203 | 运营         |
|  6 | xiaomage | female |   18 |    204 |  200 | 技术         |
|  6 | xiaomage | female |   18 |    204 |  201 | 人力资源      |
|  6 | xiaomage | female |   18 |    204 |  202 | 销售         |
|  6 | xiaomage | female |   18 |    204 |  203 | 运营         |

 

  内连接 : 只连接匹配的行

#找两张表共有的部分,相当于利用条件从笛卡尔积结果中筛选出了匹配的结果
#department没有204这个部门,因而employee表中关于204这条员工信息没有匹配出来
mysql> select employee.id,employee.name,employee.age,employee.sex,department.name from employee inner join department 
on employee.dep_id=department.id; +----+---------+------+--------+--------------+ | id | name | age | sex | name | +----+---------+------+--------+--------------+ | 1 | egon | 18 | male | 技术 | | 2 | alex | 48 | female | 人力资源 | | 3 | wupeiqi | 38 | male | 人力资源 | | 4 | yuanhao | 28 | female | 销售 | | 5 | nvshen | 18 | male | 技术 | +----+---------+------+--------+--------------+ rows in set (0.00 sec) #上述sql等同于 mysql> select employee.id,employee.name,employee.age,employee.sex,department.name from employee,department where employee.dep_id=department.id;

 

  外链接之右连接: 优先显示右表全记录

#以右表为准,即找出所有部门信息,包括没有员工的部门
#本质就是:在内连接的基础上增加右边有,左边没有的结果
mysql> select employee.id,employee.name,department.name as depart_name from employee right join department on employee.dep_id=department.id;
+------+---------+--------------+
| id   | name    | depart_name  |
+------+---------+--------------+
|    1 | egon    | 技术         |
|    2 | alex    | 人力资源     |
|    3 | wupeiqi | 人力资源     |
|    4 | yuanhao | 销售         |
|    5 | nvshen  | 技术         |
| null | null    | 运营         |
+------+---------+--------------+
rows in set (0.00 sec)

 

  外链接之左连接: 优先显示左表全记录

#以左表为准,即找出所有员工信息,当然包括没有部门的员工
#本质就是:在内连接的基础上增加左边有,右边没有的结果
mysql> select employee.id,employee.name,department.name as depart_name from employee left join department on employee.dep_id=department.id;
+----+----------+--------------+
| id | name     | depart_name  |
+----+----------+--------------+
|  1 | egon     | 技术         |
|  5 | nvshen   | 技术         |
|  2 | alex     | 人力资源     |
|  3 | wupeiqi  | 人力资源     |
|  4 | yuanhao  | 销售         |
|  6 | xiaomage | null         |
+----+----------+--------------+
rows in set (0.00 sec)

 

  全外连接:显示左右俩个表全部记录

#外连接:在内连接的基础上增加左边有右边没有的和右边有左边没有的结果
#注意:mysql不支持全外连接 full join
#强调:mysql可以使用此种方式间接实现全外连接
语法:select * from employee left join department on employee.dep_id = department.id 
       union all
      select * from employee right join department on employee.dep_id = department.id;

 mysql> select * from employee left join department on employee.dep_id = department.id
          union
        select * from employee right join department on employee.dep_id = department.id
           ;
+------+----------+--------+------+--------+------+--------------+
| id   | name     | sex    | age  | dep_id | id   | name         |
+------+----------+--------+------+--------+------+--------------+
|    1 | egon     | male   |   18 |    200 |  200 | 技术         |
|    5 | nvshen   | male   |   18 |    200 |  200 | 技术         |
|    2 | alex     | female |   48 |    201 |  201 | 人力资源     |
|    3 | wupeiqi  | male   |   38 |    201 |  201 | 人力资源     |
|    4 | yuanhao  | female |   28 |    202 |  202 | 销售         |
|    6 | xiaomage | female |   18 |    204 | null | null         |
| null | null     | null   | null |   null |  203 | 运营         |
+------+----------+--------+------+--------+------+--------------+
rows in set (0.01 sec)

#注意 union与union all的区别:union会去掉相同的纪录

 

  符合条件连接查询

 

  以内连接的方式查询employee和department表,并且employee表中的age

  字段值必须大于25,即找出年龄大于25岁的员工以及员工所在的部门.

 

select employee.name,department.name from employee inner join department
  on employee.dep_id = department.id
  where age > 25;

 

 

 

  以内连接的方式查询employee和department表,并且以age字段的升序方式显示. 

select employee.id,employee.name,employee.age,department.name from employee,department
    where employee.dep_id = department.id
    and age > 25
    order by age asc;

 

  子查询

  子查询是将一个查询语句嵌套在另一个查询语句中.

  内层查询语句的查询结果,可以为外层查询语句提供查询条件.

  子查询中可以包含:in, not in , any , all , exists 和 not exist等关键字

  还可以包含比较运算符: = , != , > ,< 等

  

  例 带in 关键字的查询

#查询平均年龄在25岁以上的部门名
select id,name from department
    where id in 
        (select dep_id from employee group by dep_id having avg(age) > 25);
# 查看技术部员工姓名
select name from employee
    where dep_id in 
        (select id from department where name='技术');
#查看不足1人的部门名
select name from department
    where id not in 
        (select dep_id from employee group by dep_id);

 

  带比较运算的子查询

#比较运算符:=、!=、>、>=、<、<=、<>
#查询大于所有人平均年龄的员工名与年龄
mysql> select name,age from employee where age > (select avg(age) from employee);
+---------+------+
| name    | age  |
+---------+------+
| alex    |   48 |
| wupeiqi |   38 |
+---------+------+

#查询大于部门内平均年龄的员工名、年龄
思路:
      (1)先对员工表(employee)中的人员分组(group by),查询出dep_id以及平均年龄。
       (2)将查出的结果作为临时表,再对根据临时表的dep_id和employee的dep_id作为筛选条件将employee表和临时表进行内连接。
       (3)最后再将employee员工的年龄是大于平均年龄的员工名字和年龄筛选。



mysql> select t1.name,t1.age from employee as t1
             inner join
            (select dep_id,avg(age) as avg_age from employee group by dep_id) as t2
            on t1.dep_id = t2.dep_id
            where t1.age > t2.avg_age;
+------+------+
| name | age  |
+------+------+
| alex |   48 |

 

  带exists关键字的子查询

#exists关字键字表示存在。在使用exists关键字时,内层查询语句不返回查询的记录。而是返回一个真假值。true或false
#当返回true时,外层查询语句将进行查询;当返回值为false时,外层查询语句不进行查询
#department表中存在dept_id=203,ture
mysql> select * from employee  where exists (select id from department where id=200);
+----+----------+--------+------+--------+
| id | name     | sex    | age  | dep_id |
+----+----------+--------+------+--------+
|  1 | egon     | male   |   18 |    200 |
|  2 | alex     | female |   48 |    201 |
|  3 | wupeiqi  | male   |   38 |    201 |
|  4 | yuanhao  | female |   28 |    202 |
|  5 | nvshen   | male   |   18 |    200 |
|  6 | xiaomage | female |   18 |    204 |
+----+----------+--------+------+--------+
#department表中存在dept_id=205,false
mysql> select * from employee  where exists (select id from department where id=204);
empty set (0.00 sec)

 

索引

  索引介绍: 数据库中专门用于帮助用户快速查找数据的一种数据结构.类似

  于字典中的目录,查找字典内容时可以根据目录查到数据的存放位置,然后

  直接获取.

  索引作用  约束和加速查找

 

  常见的索引:

  普通索引;  唯一索引;  主键索引;  

  联合索引(多列) : 联合主键索引    联合唯一索引    联合普通索引

 

  有无索引的区别以及建立索引的目的

  无索引: 从前往后逐条查询

  有索引: 创建索引的本质,就是创建额外的文件(某种格式存储,查询的时

  候,先去额外的文件找,定好位置,再去原始表中直接查询.)数据过多,对硬

  盘也有损耗.

  建立索引目的 : 

    额外的文件保存特殊的数据结构

    查询快, 但是插入更新删除依然慢

    创建索引后,必须命中索引才能有效

 

hash索引和btree索引
(1)hash类型的索引:查询单条快,范围查询慢
(2)btree类型的索引:b+树,层数越多,数据量指数级增长(我们就用它,因为innodb默认支持它)

 

 

 

  普通索引  作用:仅有一个加速查找

    创建表+普通索引

create table userinfo(
                   nid int not null auto_increment primary key,
                   name varchar(32) not null,
                   email varchar(64) not null,
                   index ix_name(name)
         #index创建索引目录 ix_name表示创建的索引名字 (name)表示为哪个字段创建索引 );

 

    普通索引   

    create index 索引的名字 on 表名(列名)
    单独为某一表的某一字段创建普通索引

  删除索引
   drop index 索引的名字 on 表名

  查看索引
   show index from 表名
  
  唯一索引
  功能 : 加速查找  唯一约束(可含null)
  
create table userinfo(
                   id int not null auto_increment primary key,
                   name varchar(32) not null,
                   email varchar(64) not null,
                   unique  index  ix_name(name)
               );
  唯一索引: create unique index 索引名 on 表名(列名)
  
  删除唯一索引 : drop index 索引名 on 表名;
  
  主键索引
  (主键查找类似于 not null + unique 不为空且唯一)
  功能:加速查找  唯一约束(不含null)
  创建表+主键索引
       create table userinfo(

                   id int not null auto_increment primary key,
                   name varchar(32) not null,
                   email varchar(64) not null,
                   unique  index  ix_name(name)
           )
          or

           create table userinfo(

                   id int not null auto_increment,
                   name varchar(32) not null,
                   email varchar(64) not null,
                   primary key(nid),
                   unique  index  ix_name(name)
         )
  
  主键索引  alter table 表名 add primary key(列名);

  删除主键索引
  alter table 表名 drop primary key;
  alter table 表名 modify 列名 int, drop primary key;  
  组合索引
  组合索引是将n个列组合成一个索引,进行查询,并不是采用n个列的各个
  单列索引,进行查找,而是统一采用最左前缀规则查找.查找时采用最左面的
  索引与后面的索引俩俩结合查找,最左面的索引不同,组合索引的效率也会不同.
  
  其应用场景为: 频繁的同时使用n列来进行查询,如 :
  where name='alex' and email='alex@aa.com'.                             
    create index 索引名 on 表名(列名1,列名2);
  组合索引总和保存了col1和col2的数据,他不需要在2个索引表之间跳转,所以速度会更快,组合索引
  的搜索步骤如下

多表查询与索引

 


  索引名词(非正规sql名称)
#覆盖索引:在索引文件中直接获取数据
        例如:
        select name from userinfo where name = 'alex50000';


#索引合并:把多个单列索引合并成使用
        例如:
        select * from  userinfo where name = 'alex13131' and id = 13131;

  如下图索引合并,需要反复在俩个索引表间进行跳转,造成速度慢的原因之一,假设col1='abc'的数

据有5行,满足col2=123的数据有1000行,最坏的情况(那5行在col2的1000行最后面) 需要扫描完col2的

1000行才能找到需要的数据,并不能达到快速查找的目的.

多表查询与索引

 

  正确使用索引的情况

  数据库表中添加索引后确实会让查询速度飞起,但是前提必须是正确的使
  用索引来查询,如果以错误的方式使用,则即使建立索引也会不奏效.

  使用索引,必须:
    创建索引-->命中索引-->正确使用索引

  测试:
多表查询与索引
#1. 准备表
create table userinfo(
id int,
name varchar(20),
gender char(6),
email varchar(50)
);

#2. 创建存储过程,实现批量插入记录
delimiter $$ #声明存储过程的结束符号为$$
create procedure auto_insert1()
begin
    declare i int default 1;
    while(i<3000000)do
        insert into userinfo values(i,concat('alex',i),'male',concat('egon',i,'@oldboy'));
        set i=i+1;
    end while;
end$$ #$$结束
delimiter ; #重新声明分号为结束符号

#3. 查看存储过程
show create procedure auto_insert1\g 

#4. 调用存储过程
call auto_insert1();





- like '%xx'
            select * from userinfo where name like '%al';
        - 使用函数
            select * from userinfo where reverse(name) = 'alex333';
        - or
            select * from userinfo where id = 1 or email = 'alex122@oldbody';
            特别的:当or条件中有未建立索引的列才失效,以下会走索引
                    select * from userinfo where id = 1 or name = 'alex1222';
                    select * from userinfo where id = 1 or email = 'alex122@oldbody' and name = 'alex112'
        - 类型不一致
            如果列是字符串类型,传入条件是必须用引号引起来,不然...
            select * from userinfo where name = 999;
        - !=
            select count(*) from userinfo where name != 'alex'
            特别的:如果是主键,则还是会走索引
                select count(*) from userinfo where id != 123
        - >
            select * from userinfo where name > 'alex'
            特别的:如果是主键或索引是整数类型,则还是会走索引
                select * from userinfo where id > 123
                select * from userinfo where num > 123
        - order by
            select email from userinfo order by name desc;
            当根据索引排序时候,选择的映射如果不是索引,则不走索引
            特别的:如果对主键排序,则还是走索引:
                select * from userinfo order by nid desc;
         
        - 组合索引最左前缀
            如果组合索引为:(name,email)
            name and email       -- 使用索引
            name                 -- 使用索引
            email                -- 不使用索引
view code

 

  最左前缀

最左前缀匹配:
        create index ix_name_email on userinfo(name,email);
                 select * from userinfo where name = 'alex';
                 select * from userinfo where name = 'alex' and email='alex@oldbody';

                 select * from userinfo where  email='alex@oldbody';

             如果使用组合索引如上,name和email组合索引之后,查询
             (1)name和email ---使用索引
             (2)name        ---使用索引
             (3)email       ---不适用索引
              对于同时搜索n个条件时,组合索引的性能好于多个单列索引
        ******组合索引的性能>索引合并的性能*********

 

  索引注意事项:
  
(1)避免使用select *
       (2)count(1)或count(列) 代替count(*)
       (3)创建表时尽量使用char代替varchar
       (4)表的字段顺序固定长度的字段优先
       (5)组合索引代替多个单列索引(经常使用多个条件查询时)
       (6)尽量使用短索引 (create index ix_title on tb(title(16));特殊的数据类型 text类型)
       (7)使用连接(join)来代替子查询
       (8)连表时注意条件类型需一致
       (9)索引散列(重复少)不适用于建索引,例如:性别不合适

  执行计划

  explain+查询sql  用于显示sql执行信息参数,根据参考信息可以进行sql优化

mysql> explain select * from userinfo;
    +----+-------------+----------+------+---------------+------+---------+------+---------+-------+
    | id | select_type | table    | type | possible_keys | key  | key_len | ref  | rows    | extra |
    +----+-------------+----------+------+---------------+------+---------+------+---------+-------+
    |  1 | simple      | userinfo | all  | null          | null | null    | null | 2973016 | null  |
    +----+-------------+----------+------+---------------+------+---------+------+---------+-------+

    mysql> explain select * from (select id,name from userinfo where id <20) as a;
    +----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+
    | id | select_type | table      | type  | possible_keys | key     | key_len | ref  | rows | extra       |
    +----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+
    |  1 | primary     | <derived2> | all   | null          | null    | null    | null |   19 | null        |
    |  2 | derived     | userinfo   | range | primary       | primary | 4       | null |   19 | using where |
    +----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+
rows in set (0.05 sec)

  参数

select_type:
                查询类型
                    simple          简单查询
                    primary         最外层查询
                    subquery        映射为子查询
                    derived         子查询
                    union           联合
                    union result    使用联合的结果
table:
                正在访问的表名
type:
                查询时的访问方式,性能:all < index < range < index_merge < ref_or_null < ref < eq_ref < system/const
                all             全表扫描,对于数据表从头到尾找一遍
                                select * from userinfo;
                                特别的:如果有limit限制,则找到之后就不在继续向下扫描
                                       select * from userinfo where email = 'alex112@oldboy'
                                       select * from userinfo where email = 'alex112@oldboy' limit 1;
                                       虽然上述两个语句都会进行全表扫描,第二句使用了limit,则找到一个后就不再继续扫描。

index :      全索引扫描,对索引从头到尾找一遍
                                select nid from userinfo;

range:        对索引列进行范围查找
                                select *  from userinfo where name < 'alex';
                                ps:
                                    between and
                                    in
                                    >   >=  <   <=  操作
                                    注意:!= 和 > 符号


index_merge:  合并索引,使用多个单列索引搜索
                                select *  from userinfo where name = 'alex' or nid in (11,22,33);

ref:       根据索引查找一个或多个值
                                select *  from userinfo where name = 'alex112';

eq_ref:    连接时使用primary key 或 unique类型
                                select userinfo2.id,userinfo.name from userinfo2 left join tuserinfo on userinfo2.id = userinfo.id;



const:常量
            表最多有一个匹配行,因为仅有一行,在这行的列值可被优化器剩余部分认为是常数,const表很快,因为它们只读取一次。
                 select id from userinfo where id = 2 ;

system:系统
             表仅有一行(=系统表)。这是const联接类型的一个特例。
                 select * from (select id from userinfo where id = 1) as a;


possible_keys:可能使用的索引

key:真实使用的

key_len:  mysql中使用索引字节长度

rows: mysql估计为了找到所需的行而要读取的行数 ------ 只是预估值

extra:
        该列包含mysql解决查询的详细信息
        “using index”
           此值表示mysql将使用覆盖索引,以避免访问表。不要把覆盖索引和index访问类型弄混了。
        “using where”
           这意味着mysql服务器将在存储引擎检索行后再进行过滤,许多where条件里涉及索引中的列,当(并且如果)它读取索引时,就能被存储引擎检验,因此不是所有带where子句的查询都会显示“using where”。有时“using where”的出现就是一个暗示:查询可受益于不同的索引。
        “using temporary”
           这意味着mysql在对查询结果排序时会使用一个临时表。
        “using filesort”
           这意味着mysql会对结果使用一个外部索引排序,而不是按索引次序从表里读取行。mysql有两种文件排序算法,这两种排序方式都可以在内存或者磁盘上完成,explain不会告诉你mysql将使用哪一种文件排序,也不会告诉你排序会在内存里还是磁盘上完成。
        “range checked for each record(index map: n)”
           这个意味着没有好用的索引,新的索引将在联接的每一行上重新估算,n是显示在possible_keys列中索引的位图,并且是冗余的

 

  慢日志记录

  开启慢查询日志,可以让mysql记录下查询超过指定时间的语句,通过定位分

  析性能的瓶颈,才能更好的优化数据库系统性能.

(1) 进入mysql 查询是否开了慢查询
         show variables like 'slow_query%';
         参数解释:
             slow_query_log 慢查询开启状态  off 未开启 on 为开启
        slow_query_log_file 慢查询日志存放的位置(这个目录需要mysql的运行帐号的可写权限,一般设置为mysql的数据存放目录)

(2)查看慢查询超时时间
       show variables like 'long%';
       ong_query_time 查询超过多少秒才记录   默认10秒 

(3)开启慢日志(1)(是否开启慢查询日志,1表示开启,0表示关闭。)
           set global slow_query_log=1;
(4)再次查看
              show variables like '%slow_query_log%';

(5)开启慢日志(2):(推荐)
         在my.cnf 文件中
         找到[mysqld]下面添加:
           slow_query_log =1
        slow_query_log_file=c:\mysql-5.6.40-winx64\data\localhost-slow.log
         long_query_time = 1

    参数说明:
        slow_query_log 慢查询开启状态  1 为开启
        slow_query_log_file 慢查询日志存放的位置
        long_query_time 查询超过多少秒才记录   默认10秒 修改为1秒

 

  分页性能相关方案

  

第1页:
select * from userinfo limit 0,10;
第2页:
select * from userinfo limit 10,10;
第3页:
select * from userinfo limit 20,10;
第4页:
select * from userinfo limit 30,10;
......
第2000010页
select * from userinfo limit 2000000,10;

ps:会发现,越往后查询,需要的时间约长,是因为越往后查,全文扫描查询,会去数据表中扫描查询。

 

  最有的解决方案

(1)只有上一页和下一页
        做一个记录:记录当前页的最大id或最小id
        下一页:
        select * from userinfo where id>max_id limit 10;

        上一页:
        select * from userinfo where id<min_id order by id desc limit 10;


  (2) 中间有页码的情况
           select * from userinfo where id in(
               select id from (select * from userinfo where id > pre_max_id limit (cur_max_id-pre_max_id)*10) as a order by a.id desc limit 10
           );

 

   分页性能相关方案
  取当前表中的前十条记录,每十条取一次,取若干次..
第1页:
select * from userinfo limit 0,10;
第2页:
select * from userinfo limit 10,10;
第3页:
select * from userinfo limit 20,10;
第4页:
select * from userinfo limit 30,10;
......
第2000010页
select * from userinfo limit 2000000,10;

ps:会发现,越往后查询,需要的时间约长,是因为越往后查,全文扫描查询,会去数据表中扫描查询。

  解决办法:

  

(1)只有上一页和下一页
        做一个记录:记录当前页的最大id或最小id
        下一页:
        select * from userinfo where id>max_id limit 10;

        上一页:
        select * from userinfo where id<min_id order by id desc limit 10;


  (2) 中间有页码的情况
           select * from userinfo where id in(
               select id from (select * from userinfo where id > pre_max_id limit (cur_max_id-pre_max_id)*10) as a order by a.id desc limit 10
           );

 

 
 

  

 



create unique index 索引名 on 表名(列名)