欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  数据库

MySQL性能优化(二)_MySQL

程序员文章站 2022-05-22 08:09:50
...
1.MySQL基础操作
	一:MySQL基础操作
		1:MySQL表复制
			复制表结构 + 复制表数据
			create table t3 like t1;  --创建一个和t1一样的表,用like(表结构也一样)
			insert into t3 select * from t1;  --t1的数据全部拿过来,注意是表结构一致才select* ,否则选择相应的的字段列插入
			
			create table t1(
				id int unsigned not null auto_increment primary key,
				name varchar(30)
			);
		2:MySQL索引(create不能创建主键索引,得用alter,建议全部用alter创建索引)
			*设置主键后默认就是主键索引
			一:alter table用来创建普通索引,unique索引或primary key索引
				普通索引:alter table t1 add index in_name(name)   --t1表中的那么字段添加索引名为in_name
				唯一索引:alter table t1 add unique(name)   --不给名字,默认是字段名
						  alter table t1 add unique un_name(name)
						  
				主键索引(自增才有意义):alter table t1 add primary key(id)
				         主键索引不是自增记得改成自增:alter table t1 modify id int unsigned not null auto_increment;
				
				查看:show index from t1;
				删除:alter table t1 drop index in_name;
				
				@*删除主键索引单独处理*
			二:alter table table_name drop index index_name
					alter型删除索引:alter table t1 drop index in_name;
					
					@*删除主键索引*:
					注意:删除主键索引的时候,如果你的主键索引是自增(如:id)删除是会报错的
						  实在想玩的话就把主键的auto_increment消掉
						  alter table t1 modify id int unsigned not null;
						  接着删除主键:alter table t1 drop primary key;
						  
						  改成自增:alter table t1 modify id int unsigned not null auto_increment;
				
			三:create index(不常用学习下,不能对主键索引操作,只能操作普通和唯一索引)
			   *创建普通索引:	create index in_name on t1(name);  --将t1表中的那么字段添加为普通索引
				查看索引:     	show index from t1;
				删除索引:      drop index in_name on t1;    --t1表中的in_name索引删除
			  
			  ->在做唯一索引之前字段不能有重复值,否则创建不成功
			   *创建唯一索引:  create unique index un_name on t1(name);
			
			四:删除create创建的索引:drop index
					drop index in_name on t1;
					
			
		3:MySQL视图
			定义:视图是一个虚拟表,其内容由查询定义,是根据建立视图的sql语句拿到的数据保存在一张表中而创建的表-视图
				  *根据从表里面拿出来的数据而创建出来的一张表
			创建视图:create view v_t1 as select * from t1 where id>4 and idhello world
					lcase("MYSQL")				   		 转换成小写
					ucase("mysql")				   		 转换成大写
					length("leyangjun")         		 string长度
					ltrim("   userName")          		 去除前端空格
					rtrim("userName   ")          		 去除后端空格
					repeat("linux",count)   		   	 重复count次( select repeat('d',2);重复输出2次dd)
					replace(str,search_str,replace_str)  在str中使用replace_str替换search_str
					substring(str,position[length])      从str的position开始,取length个字符串->substring 和 substr一样
					select substr("leyangjun",1,5);      从第一个开始取5个字符串
					space(count)           				 生成count(数字)个空格
			数学函数
				bin(decimal_number)         十进制转二进制(select bin(120);)
				ceiling(number2)            向上取整(select ceiling(10.10);--->11)
				floor(number2)            向下取整(select ceiling(10.10);--->10)
				Max(列)              取最大值
				MIN(列)              取最小值
				sqrt(number2)               开平方
				rand()                      返回0-1内的随机值
		
			日期函数:
				curdate();       返回当前日期
				curtime();       返回当前时间
				now();           返回当前的日期和时间
				unix_timestamp(date)   返回date的unix时间戳
				from_unixtime()        返回unix时间戳日期值
				week(date)             返回日期date为一年中的第几周
				year(date)             返回日期中的年份
				datediff(expr,expr2)   返回起始时间expr和结束时间expr2间隔天数select datediff("2014-08-03","2014-08-04");
		
		5:MySQL预处理语句
			一:设置一个预处理语句:prepare stmt1 from 'select * from t1 where id>?';
			二:设置一个变量:set @=i1;
			三:执行stmt1预处理:execute stmt1 using @i;
			
				设置@i=5
				set @i=5;
				execute stmt1 using @i;
			
			删除预处理:
				drop prepare stmt1;
			
			应用场景:比如你是老板我要看1,2,3,4,5,6、、、、12月份入职人员的情况
					  *就可以把SQL做成预处理,这样就不需要每次去请求MySQL直接传个值就可以(MySQL是将预处理的SQL储存起来,用的时候传值直接就执行,就不需要每次请求连接MySQL在重新执行)
			
		6:MySQL事务处理(增删改查后只要没有commit,全可以回滚)
		    *myisam引擎不支持事务,innodb(支持外键和事务)才支持事务
			修改表引擎方法:alter table t1 engine=innodb
			
			一:事务操作
				查看是否自动提交:select @@autocommit;	
				关闭自动提交
				set autocommit=0;
				delete from t1 where id>5;  数据只是临时删除,如果commit就真正的执行删除语句
				rollback;     只要没commit还原刚才删除的数据
				commit;
			
			二:还原点的使用:
				insert into t1 values("user4");
				savepoint p1;
				insert into t1 values("user5");
				savepoint p2;
				insert into t1 values("user6");
				savepoint p3;
				
				--3个数据已经插进去啦,能后你觉得user6不要,你就找到还原点 savepoint p2就行
				rollback to p2;    --还原到P2  user6不要
				commit;
				
				
			
		7:MySQL存储(可以认为是自定义的函数)
			创建一个存储:
				\d //
				create procedure p1()
				begin
				set @i=0;
				while @i通用的一些:
			^     在字符串的开始处进行匹配                  a?     匹配1个或0个
			$     在字符串的末尾处进行匹配					a1|a2  匹配a1或a2
			.     匹配任意单个字符,包括换行符号			a(m)   匹配m个a
			[...] 匹配括号内的任意字符						a(m,)  匹配至少m个a
			[^...]匹配不出现括号内的任意字符				a(m,n) 匹配m到n个a
			a*    匹配0个或多个a(包括空串)					a(,n)  匹配0到n个a
			a+    匹配1个或多个(不包括空串)				(...)  将模式元素组成单一元素
		匹配邮箱(根据匹配.,正则效率高):
			--但是正则比like的缺点就是更消耗程序消耗资源
			1使用正则表达式“$” 和 [...] 进行匹配:
				select name,email from leyangjun where email REGEXP "@163[.,]com$";   --[.,]匹配. 或 ,
		
			2使用like方式查询:
				select name,email from leyangjun where email like "@163.com" or email like "%@163,com";
	
	二:巧用rand()提取随机行(select rand()*100)
		MySQL数据库中随机函数rand()是取一个0-1之间的数,利用这个函数一起order by能够把数据随机排序
		select * from stu order by rand(); --随机排序
		select * from stu order by rand() limit 3;  --抽样调差可以玩
			
	三:利用group by 的 with rollup 子句统计
		*注意:with rollup不可以和order by同时使用
		使用group by的with rollup 子句可以检索出更多的分组聚合信息
			select cname,pname,count(pname) from demo group by cname,pname;
		使用with rollup可以统计出更多的信息:
			select name,pname,count(pname) from demo group by cname,pname with rollup;   --会吧算出来的数加起来 比如:bj  hd  5      sh  hd 4    最后会增加个null 列 总数9
		
	四:用bit group functions做统计(用的少),就是二进制进行运算
		*只有聚合分组的时候这个2个函数才会有意义。
			在使用group by 语句时可以同时使用bit_and 、bit_or函数来完成统计工作。这两个函数的
		作用主要是做数值之间的逻辑运算。
		2个函数把数值转成二进制
		bit_or或运算->二进制的值-就是0和1(0,1=1    0,0=0    1,1=1):
			select id,bit_or(kind) from order_rab group by id;	
		bit_and是&&运算(只有1,1=1,其他值全为0):	
			select id,bit_and(kind) from order_rab group by id;
		
	五:使用外键需要注意的问题(不鼓励在MySQL中使用外键)
		外键:我这个表的字段是楞一个表的主键,依赖关系
		create table temp(id int,name char(20),foreign key(id) references outTable(id) on delete cascade on update cascade);
		*注意:innodb类型的表支持外键,myisam类型的表,虽能创建外键可以成功,但是不起作用,主要原因是不支持外键。	
		
	六:MySQL中help的使用
		在MySQL中有很多命令如果不记得,要使用MySQL的提示下的操作也就是  ?:
		1:?%   可以获得多有的MySQL里面的命令,这个事最多的,建议不使用下面
		2:?create
		3:?opti% 以为记不住optimize的全称,这个时候可以用%来代替
		4:?reg%  获取了记不住的regexp的用法
		5:? contents; 查看所有帮助信息 -> 可以得到所有的帮助大纲,通过这个目录在用?继续往下细查
			比如:?contents;
				  ? functions;   查看所有的函数,就是?contents得出来的functions
				  ?  string funtions;   .......
				  
===============================================================================================================================				  

3.SQL语句优化
	一:优化SQL语句的一般步骤
		1:通过show status命令了解各种SQL的执行频率
					格式:show session|global status;
						session:(默认)表示当前连接
						global:表示自数据库启动至今
					
					show status;
					show global status;
					show status like 'Com_%';  --一般只差以Com开头的东西
					show global status like 'Com_%';
					
				重点跟踪这几个值(登入以来,所有的操作都会有记载):
					show status like "Com_insert%";   --查看到:总共插了多少条  insert_select方式插入使用了几次
					show status like "Com_select%";   --登入以来,插入了几次
					show status like "Com_update%";
					show status like "Com_delete%";
					
				只针对于innoDB存储引擎的(记载的是影响行数):
				SQL:show status like "innodb_rows%";  --就可以查看到下面的内容
						InnoDB_rows_read执行select操作的次数
						InnoDB_rows_updated执行update操作的次数
						InnoDB_rows_inserted执行insert操作的次数
						InnoDB_rows_deleted执行delete操作的次数
				
				其他:
				sql: show status like "connections";
					connections 链接MySQL的数量(包括你链接成功或不成功都会记载)
					Uptime 服务器已经工作的秒伤
					Slow_queries 慢查询次数
					show variables like "%slow%";  查看是否开启慢查询 OFF关闭(默认慢查询文件等详细信息)
					show variables like "%long%";  查看默认慢查询的时间默认是10s
					
		*2:定位执行效率较低的语句(解析sql)
				可以查出:有没有用索引啊  单表查还是多表查 还是嵌套查询啊。。。,看这几个值既能分析出来
				*重点查看的是 row:8   影响行数
				ref:null  如果你表建立的所有,ref会推荐你使用什么索引
				explain select * from tables where id=10 \G;  可以用 \G排下	
				desc select * from tables where id=10;
			
	二:索引问题
		索引是数据库优化中最常见也是最重要的手段之一,通过索引通常可以帮助用户解决大多数的SQL性能问题。
		1:索引的存储分类
			MyISam存储引擎的表的数据和索引是自动分开存储的,各自是独立的一个文件(3个文件 frm-表结构文件 d-数据文件 i-索引文件)
			InnoDB存储引擎的表数据和索引是存储在同一个表空间里面的,但可以有多个文件组成(默认是共享表空间,所以是同一个文件)
			
			MySQL目前不支持函数索引,但是能对列的前面某一部分进行索引,例如name字段,可以只取name的前4个字符进行索引,
		这个特性可以大大缩小索引文件的大小,用户在设计表结构的时候也可以对文本列根据此特性进行灵活设计。
		
		SQL:create index ind_company2_name on company(name(4));--其中company表名ind_company2_name索引名 且 针对name4个字符进行索引
		
		2:MySQL如何使用索引
			索引用于快速查找在某个列中有一特定值的行。对相关列使用索引是提高select操作性能的最佳途径。
			一:使用索引:
				(1):对于创建的多列索引,只要查询的条件中用到左边的列,索引一般就会被使用。
					如下创建个复合索引:
						create index ind_sales2_com_mon on sales2(commpany_id,moneys);
					能后按company_id进行查询,发现使用到了复合索引
						explain select * from sales2 where commpany_id=100 \G;
					使用下面的查询就没有使用到复合索引
						explain select * from sales2 where moneys=1 \G;
				
				(2):like使用索引要注意,有时候用不上看你like是怎么写的,%号放后面就可以用上索引
					索引什么时候用不上(已经建了索引sql时候没用上)
					使用like的查询,后面如果是常量并且只有%号不在第一个字符,索引才可能会被使用,如下:
						explain select * from commpany2 where name like "%3%" \G; --没用上
						explain select * from commpany2 where name like "3%%" \G; --用上啦
				
				(3):如果对大额文本进行搜索,使用全文索引而不使用like"%...%";
				(4):如果列名是索引,使用column_name is null将使用索引,如下:
					explain select * from commpany2 where name is null \G   --查找那么是null的值,也会用到索引
					explain select * from commpany2 where name is not null \G  --也会用到索引
			二:存在索引但不使用索引(索引没用上)
				(1):如果MySQL估计使用索引比全表扫描更慢,则不适用索引。列如:如果列key_part1均匀分布在1到100之间,查询时使用索引就不是很好
					select * from tableName where key_part1>1 and key_part导致整个索引都用不上,最终索引是没有意义的
					
					从上面可以发现只有year列上面有索引,如:
						explain select * from sales where year=2001 or country='China' \G
				
				(4):如果不是索引列的第一部分,如下列子:可见虽能在moeney上建有复合索引,但是由于money不是索引的第一列,
					   那么查询中这个索引也不会被MySQL使用
						explain select * from sales2 where moneys=1 \G
				
				(5):如果like是以为%开始,可能name字段有索引,但是由于条件中like的值得"%"号在第一位MySQL也不会使用索引
				
				(6):如果列类型是字符串,但是在查询的时候把一个数值型常量给了一个字符型的列名name,
					   那么虽能name列上有索引,但是也没有用到
					   explain select * from company2 where name=294 \G   --能找到记录你输入294的会自动转成'294',但是不会使用索引
			
			三:查看所有使用情况
				如果索引正在工作,Handler_red_key(读取索引的次数) 的值将很高。
				Handler_read_rnd_next的值高则意味着查询运行低效,并且应该建立索引补救。
				
				show status like 'Handler_red%';  --Handler_read_rnd_next这个值偏高得话就得结合慢查询日志,看看那个sql慢 进而来建索引
			
			
	三:两个简单使用的优化方法
		 对于大多数开发人员来说,可能只希望掌握一些简单实用的优化方法,对于更多复杂的优化,更倾向交给作业DBA来做
	 (1):定期分析表和检查表
			
			*分析的语法如下:(检查一个表或多个表是否有错误,比如视图:视图依赖一个主表,主表删除了,能后你用这个命令查看你的视图表就会报错)
				check table table_name;
		
	(2):定期优化表
			优化表的语法格式:
				就是优化表空间->删除等操作一些碎片和空洞清理出去
				optimize table table_name;   --如果已经删除了表的一大部分,或者已经对含有可变长度的表进行了很多的改动,则需要
											   做定期优化。这个命令可以将表中的空间碎片进行合并,但是次命令只对myiam bdb和innodb表起作用。

	
	四:常用SQL的优化
		(1):大批量插入数据
			一:当用load命令导入数据的时候。适当设置可以提高导入的速度。 ?load data
				导出 导入数据 新方法:
				select name from t1 into outfile "/tmp/test.txt";   --将表t1 name字段数据导出到文件里去
				load data infile "/tmp/test.txt" into table t1(name);  --清空表t1,在将刚才导出来的t1表name字段的数据值在导入t1表中的name中去
			
			二:对于myisam存储引擎的表,可以通过以下方式快速的导入大量的数据。
				注意:一般指关闭非唯一索引,以为怕导入的时候有相同的值就监控不到啦
					插入完后再一起做索引,否则每次插入一条索引文件也插入一条
					alter table table_name disable keys
					load data  .....
					alter table table_name enable keys
				-->disable keys 和 enable keys 用来打开或关闭myisam表非唯一索引(除了住建索引)的更新,可以提高速度 innodb 无效的哦
				
				->1:使用打开或关闭MyISAM非唯一索引(表已经建立了索引):
						alter table table_Name disable keys;   --关闭
						load data infile "/tmp/test.txt" into table t1(name); --导入数据后在统一价索引
						alter table table_Name enable keys; --开启,统一加索引
						
						
				->2:关闭唯一索引,可以提高导入效率(保证你数据不会有问题,不会出现冲突值、重复啥的)
						在导入数据前先执行set unique_checks=0,关闭唯一性效验,在导入数据后先执行set unique_checks=1,恢复唯一效验,可以提高导入效率
					SQL:	
						set unique_checks=0;
						load data infile "/tmp/test.txt" into table t1(name);
						set unique_checks=1;
			
			三:针对于Innodb类型表数据导入的优化
				1:因为innodb表的按照主键顺序保存的,所以将导入的数据主键的顺序呢排序,可以有效地提高导入数据的效率。
					使用test3.txt文本是按表film_test4主键存储顺序保存
					load data infile "/tmp/test.txt" into table film_test4;
				2:关闭自动提交可以提高导入效率
					在导入数据前先执行set autocommit=0,关闭自动提交事务,在导入数据后先执行set autocommit=1,恢复自动提交,可提高效率。
					set autocommit=0;
					load data infile "/tmp/test.txt" into table film_test4;
					set autocommit=1;
					
			四:优化insert语句:
					尽量使用多个值表的insert语句,这样可以大大缩短客户与数据库之间的链接、关闭损耗。
					可以尽量使用insert delayed(马上执行)语句得到更高得效率。
					将索引文件盒数据文件分别存放不同的磁盘上。
					可以增加bulk_inser_buffer_size变量值得方法来提高速度,但是只是对myisam表使用。
					当从一个文件中装载一个表时,使用load data infile,这个通常比使用很多insert语句要快20倍。
					
					插入的时候可以:insert into t1(name) values ("user1"),("user2"),("user3"),("user4"); --程序逻辑里面插入的时候尽量批量插入,要不插一次链接、关闭一次MySQL
				
			五:优化group by语句:
					如果查询包含group by但用户想要避免排序结果的损耗,则可以使用 order by null来禁止排序:
						如下没有使用order by null来禁止排序
							explain select id,sum(moneys) from table_Name group by id \G   --默认是升序排序,desc sql 看下 Extra:using temporary:using filesort
						
						如下使用order by null来禁止排序(作用:最低的消耗资源)
							explain select id,sum(moneys) from table_Name group by id order by null\G  --desc sql 看下 Extra:using temporary
					
			六:优化嵌套查询(表都建立啦索引的前提下)
				下面是采用嵌套查询的效果(可以使用更有效的链接查询(join)替代)
				嵌套查询(效率极低,多表的话只会用到一张表的索引)
					--里面的能用到索引外面的用不到索引
					explain select * from table_Name1 where company_id not in(select id from table_Name2)\G --desc sql看下你会发现如果2张表都建立索引,你会发现改嵌套查询table_Name2会用到索引查询,table_Name1不会
					替代(都使用到索引)
					explain select * from table_Name1 left join table_Name2 on table_Name1.company_id=table_Name2.id where table_Name1.company_id is not null\G
					
				链接查询优秀嵌套查询(上面):
					desc select * t1.* from t1,t2 where t1.id=t2.uid \G  --这个sql 2张表在查询的时候都会用到索引
				 
					左右链接查询也会同时用到索引:
						desc select t1.* from t1 left join t2 on t1.id=t2.uid where t2.uid is not null \G
===============================================================================================================================
						
4.MySQL数据库优化(主要针对表)

	一:优化表的类型	
			只能考认为的去对表结构进行优化
			
	二:通过拆分提高表的访问效率
		大存储量解决:1:分库分表  2:分区
		主要目的:1:减少表的记录数  2:减少对操作系统的负担压力
		
	三:使用中间表提高统计查询速度
		中间表生成:1:view视图  2:重新生成一个新表
		比如:有个存储帖子的表,能后我只是取前3条的热门贴,如果用select * from tiezi where idtest.sql
		解锁:unlock tables;
		
	二:myisam写锁定(只有本人进行增删改查,其他人不能进行任何操作)
		1:lock table t1 write 
		2: 打开另一个mysql终端,尝试select、insert、update 、delete 这个表t1,你会发现都不能操作,
		   都会停留在终端上,只有等一个终端操作完毕,解锁后第二个终端才能真正执行
		3:可见表的写锁比读锁更严格
		4:一般情况下我们很少尝试的取对表进行read、write锁定的,myisam会自动进行锁定的
		
		解锁:unlock tables; --全部解锁
		

===============================================================================================================================
6.MySQL服务器优化
	一:四种字符集问题(尽量统一设置utf8)
	sql: \s    查看
		服务器字符集:server characterset: utf8
		数据库字符集:Db characterset:utf8
		客户端字符集:client characterset:utf8
		链接字符集:conn. characterset:utf8 
	
	怎么设置字符集:mysql配置文件中找到:	
		[client]
		default-character-set = utf8    --控制 客户端字符集 和 链接字符集
		[mysqld]
		character-set-server = utf8     --控制服务器的字符集和数据库字符集  以及继承下来的表字符集
		collation-server = utf8_general_ci  --控制校验字符集(用途:比如 order by来排序,数据库这么知道这么排序就是靠这个)
		
		能后重启mysql: pkill mysqld		 --杀死进程
						pstree |grep mysqld  --看mysql进程还在不在
						/mysql/bin/mysqld_safe --user=mysql &   重启
						
						!ps      --查看进程
		
		查看校验字符集:	
			show character set;		--一堆校验字符集		
	

	
	二:binary log 日志问题
		查看bin log日志:
			show variables like "%bin%";   --看log_bin  是否开启   ON表示开启,;inux默认是开启的
		
		开启log-bin日志:
			配置文件中打开:log-bin=mysql-bin
		
		
	三:slow log 慢查询日志问题
		查看慢查询是否开启:
			show variables like "%slow%";  --看slow_query_log 是否开启
										   --慢查询日志保存地址 slow_query_log_file -> E:\wamp\bin\mysql\mysql5.5.20\data\asus-PC-slow.log
			show variables like "%long%";  --查看慢查询时间10s,long_query_time
		
		开启和设置慢查询时间:
			配置文件里[mysqld]下添加就好:
						log_slow_queries=E:/data/slow.log
						long_query_time=5   大于5秒的SQL就会被记载到slow.log文件中
			
	
	四:socket问题
		解释:socket是php程序链接操作mysql时候就要用mysql.sock文件要找到这个端口
			  如果把这个文件删除啦也就是说php就不知道往那台机器那个端口去连
		[client]
		port=3306
		socket=/tmp/mysql.sock
		[mysqld]
		port=3306
		socket=/tmp/mysql.sock
		skip-locking
		
		mysql socket无法登陆:(临时急救的办法,php是用不了的)
			1:有时候mysql登录是提示不能用socket登录,此时可以换成tcp方式去登录,但是可以测试时候可以这样用
				但是必须要php去用之前把这个事情解决了
				mysql -uroot -p123456 --protocol tcp -hlocalhost;  --这样就可以登录,这样就不用mysql.socket来登录,而mysql.socket是启动mysqld服务时产生的
			*能后这个方式登录进来之后,你在重启下mysql服务,mysql.socket文件会自动建立
		
		
	五:root密码丢失
		破解:(破解思路:跳过授权表,进去后能后在务修改密码)
			1:server mysqld stop
			2: mysqld_safe --skip-grant-tables --user=mysql &    ->跳过授权表mysql.user和mysql.db这些表
			3:mysql -uroot
			4: set password=password("leyangjun");  --用这条语句结果报错,就是因为加了--skip-grant-tables
			5:update user set password=password("leyangjun") where user='root' and host='localhost';  --这个sql就可以搞定下面2个演示
			
			6: set password for root@localhost=password("leyangjun");
			7: set password=password("leyangjun");  --和第6步一样,都可以成功修改密码,password("leyangjun")是用PW进行加密比md5更严格
			
			能后重新启动下mysql服务即可
相关标签: 性能