SQL Server数据库性能优化技术第1/2页
程序员文章站
2022-08-18 09:29:58
设计1个应用系统似乎并不难,但是要想使系统达到最优化的性能并不是一件容易的事。在开发工具、数据库设计、应 用程序的结构、查询设计、接口选择等方面有多种选择,这取...
设计1个应用系统似乎并不难,但是要想使系统达到最优化的性能并不是一件容易的事。在开发工具、数据库设计、应
用程序的结构、查询设计、接口选择等方面有多种选择,这取决于特定的应用需求以及开发队伍的技能。本文以sql
server为例,从后台数据库的角度讨论应用程序性能优化技巧,并且给出了一些有益的建议。
1 数据库设计
要在良好的sql server方案中实现最优的性能,最关键的是要有1个很好的数据库设计方案。在实际工作中,许多sql
server方案往往是由于数据库设计得不好导致性能很差。所以,要实现良好的数据库设计就必须考虑这些问题。
1.1 逻辑库规范化问题
一般来说,逻辑数据库设计会满足规范化的前3级标准:
1.第1规范:没有重复的组或多值的列。
2.第2规范:每个非关键字段必须依赖于主关键字,不能依赖于1个组合式主关键字的某些组成部分。
3.第3规范:1个非关键字段不能依赖于另1个非关键字段。
遵守这些规则的设计会产生较少的列和更多的表,因而也就减少了数据冗余,也减少了用于存储数据的页。但表关系
也许需要通过复杂的合并来处理,这样会降低系统的性能。某种程度上的非规范化可以改善系统的性能,非规范化过程可
以根据性能方面不同的考虑用多种不同的方法进行,但以下方法经实践验证往往能提高性能。
1.如果规范化设计产生了许多4路或更多路合并关系,就可以考虑在数据库实体(表)中加入重复属性(列)。
2.常用的计算字段(如总计、最大值等)可以考虑存储到数据库实体中。
比如某一个项目的计划管理系统中有计划表,其字段为:项目编号、年初计划、二次计划、调整计划、补列计划…,
而计划总数(年初计划+二次计划+调整计划+补列计划)是用户经常需要在查询和报表中用到的,在表的记录量很大时,有必
要把计划总数作为1个独立的字段加入到表中。这里可以采用触发器以在客户端保持数据的一致性。
3.重新定义实体以减少外部属性数据或行数据的开支。相应的非规范化类型是:
(1)把1个实体(表)分割成2个表(把所有的属性分成2组)。这样就把频繁被访问的数据同较少被访问的数据分开了。这
种方法要求在每个表中复制首要关键字。这样产生的设计有利于并行处理,并将产生列数较少的表。
(2)把1个实体(表)分割成2个表(把所有的行分成2组)。这种方法适用于那些将包含大量数据的实体(表)。在应用中常
要保留历史记录,但是历史记录很少用到。因此可以把频繁被访问的数据同较少被访问的历史数据分开。而且如果数据行
是作为子集被逻辑工作组(部门、销售分区、地理区域等)访问的,那么这种方法也是很有好处的。
1.2 生成物理数据库
要想正确选择基本物理实现策略,必须懂得数据库访问格式和硬件资源的操作特点,主要是内存和磁盘子系统i/o。这
是一个范围广泛的话题,但以下的准则可能会有所帮助。
1.与每个表列相关的数据类型应该反映数据所需的最小存储空间,特别是对于被索引的列更是如此。比如能使用
smallint类型就不要用integer类型,这样索引字段可以被更快地读取,而且可以在1个数据页上放置更多的数据行,因而
也就减少了i/o操作。
2.把1个表放在某个物理设备上,再通过sql server段把它的不分簇索引放在1个不同的物理设备上,这样能提高性
能。尤其是系统采用了多个智能型磁盘控制器和数据分离技术的情况下,这样做的好处更加明显。
3.用sql server段把一个频繁使用的大表分割开,并放在2个单独的智能型磁盘控制器的数据库设备上,这样也可以提
高性能。因为有多个磁头在查找,所以数据分离也能提高性能。
4.用sql server段把文本或图像列的数据存放在1个单独的物理设备上可以提高性能。1个专用的智能型的控制器能进
一步提高性能。
2 与sql server相关的硬件系统
与sql server有关的硬件设计包括系统处理器、内存、磁盘子系统和网络,这4个部分基本上构成了硬件平台,
windows nt和sql server运行于其上。
2.1 系统处理器(cpu)
根据自己的具体需要确定cpu结构的过程就是估计在硬件平台上占用cpu的工作量的过程。从以往的经验看,cpu配置最
少应是1个80586/100处理器。如果只有2~3个用户,这就足够了,但如果打算支持更多的用户和关键应用,推荐采用
pentium pro或pⅱ级cpu。
2.2 内存(ram)
为sql server方案确定合适的内存设置对于实现良好的性能是至关重要的。sql server用内存做过程缓存、数据和索
引项缓存、静态服务器开支和设置开支。sql server最多能利用2gb虚拟内存,这也是最大的设置值。还有一点必须考虑的
是windows nt和它的所有相关的服务也要占用内存。
windows nt为每个win32应用程序提供了4gb的虚拟地址空间。这个虚拟地址空间由windows nt虚拟内存管理器(vmm)映
射到物理内存上,在某些硬件平台上可以达到4gb。sql server应用程序只知道虚拟地址,所以不能直接访问物理内存,这
个访问是由vmm控制的。windows nt允许产生超出可用的物理内存的虚拟地址空间,这样当给sql server分配的虚拟内存多
于可用的物理内存时,会降低sql server的性能。
这些地址空间是专门为sql server系统设置的,所以如果在同一硬件平台上还有其它软件(如文件和打印共享,应用程
序服务等)在运行,那么应该考虑到它们也占用一部分内存。一般来说硬件平台至少要配置32mb的内存,其中,windows nt
至少要占用16mb。1个简单的法则是,给每一个并发的用户增加100kb的内存。例如,如果有100个并发的用户,则至少需要
32mb+100用户*100kb=42mb内存,实际的使用数量还需要根据运行的实际情况调整。可以说,提高内存是提高系统性能的
最经济的途径。
2.3 磁盘子系统
设计1个好的磁盘i/o系统是实现良好的sql server方案的一个很重要的方面。这里讨论的磁盘子系统至少有1个磁盘控
制设备和1个或多个硬盘单元,还有对磁盘设置和文件系统的考虑。智能型scsi-2磁盘控制器或磁盘组控制器是不错的选
择,其特点如下:
(1)控制器高速缓存。
(2)总线主板上有处理器,可以减少对系统cpu的中断。
(3)异步读写支持。
(4)32位raid支持。
(5)快速scsi—2驱动。
(6)超前读高速缓存(至少1个磁道)。
3 检索策略
在精心选择了硬件平台,又实现了1个良好的数据库方案,并且具备了用户需求和应用方面的知识后,现在应该设计查
询和索引了。有2个方面对于在sql server上取得良好的查询和索引性能是十分重要的,第1是根据sql server优化器方面
的知识生成查询和索引;第2是利用sql server的性能特点,加强数据访问操作。
3.1 sql server优化器
microsoft sql server数据库内核用1个基于费用的查询优化器自动优化向sql提交的数据查询操作。数据操作查询是
指支持sql关键字where或having的查询,如select、delete和update。基于费用的查询优化器根据统计信息产生子句的费
用估算。
了解优化器数据处理过程的简单方法是检测showplan命令的输出结果。如果用基于字符的工具(例如isql),可以通过
键入show showplan on来得到showplan命令的输出。如果使用图形化查询,比如sql enterprise manager中的查询工具或
isql/w,可以设定配置选项来提供这一信息。
sql server的优化通过3个阶段完成:查询分析、索引选择、合并选择。
1.查询分析
在查询分析阶段,sql server优化器查看每一个由正规查询树代表的子句,并判断它是否能被优化。sql server一般
会尽量优化那些限制扫描的子句。例如,搜索和/或合并子句。但是不是所有合法的sql语法都可以分成可优化的子句,如
含有sql不等关系符“<>”的子句。因为“<>”是1个排斥性的操作符,而不是1个包括性的操作符,所在扫描整个表之前无
法确定子句的选择范围会有多大。当1个关系型查询中含有不可优化的子句时,执行计划用表扫描来访问查询的这个部分,
对于查询树中可优化的sql server子句,则由优化器执行索引选择。
用程序的结构、查询设计、接口选择等方面有多种选择,这取决于特定的应用需求以及开发队伍的技能。本文以sql
server为例,从后台数据库的角度讨论应用程序性能优化技巧,并且给出了一些有益的建议。
1 数据库设计
要在良好的sql server方案中实现最优的性能,最关键的是要有1个很好的数据库设计方案。在实际工作中,许多sql
server方案往往是由于数据库设计得不好导致性能很差。所以,要实现良好的数据库设计就必须考虑这些问题。
1.1 逻辑库规范化问题
一般来说,逻辑数据库设计会满足规范化的前3级标准:
1.第1规范:没有重复的组或多值的列。
2.第2规范:每个非关键字段必须依赖于主关键字,不能依赖于1个组合式主关键字的某些组成部分。
3.第3规范:1个非关键字段不能依赖于另1个非关键字段。
遵守这些规则的设计会产生较少的列和更多的表,因而也就减少了数据冗余,也减少了用于存储数据的页。但表关系
也许需要通过复杂的合并来处理,这样会降低系统的性能。某种程度上的非规范化可以改善系统的性能,非规范化过程可
以根据性能方面不同的考虑用多种不同的方法进行,但以下方法经实践验证往往能提高性能。
1.如果规范化设计产生了许多4路或更多路合并关系,就可以考虑在数据库实体(表)中加入重复属性(列)。
2.常用的计算字段(如总计、最大值等)可以考虑存储到数据库实体中。
比如某一个项目的计划管理系统中有计划表,其字段为:项目编号、年初计划、二次计划、调整计划、补列计划…,
而计划总数(年初计划+二次计划+调整计划+补列计划)是用户经常需要在查询和报表中用到的,在表的记录量很大时,有必
要把计划总数作为1个独立的字段加入到表中。这里可以采用触发器以在客户端保持数据的一致性。
3.重新定义实体以减少外部属性数据或行数据的开支。相应的非规范化类型是:
(1)把1个实体(表)分割成2个表(把所有的属性分成2组)。这样就把频繁被访问的数据同较少被访问的数据分开了。这
种方法要求在每个表中复制首要关键字。这样产生的设计有利于并行处理,并将产生列数较少的表。
(2)把1个实体(表)分割成2个表(把所有的行分成2组)。这种方法适用于那些将包含大量数据的实体(表)。在应用中常
要保留历史记录,但是历史记录很少用到。因此可以把频繁被访问的数据同较少被访问的历史数据分开。而且如果数据行
是作为子集被逻辑工作组(部门、销售分区、地理区域等)访问的,那么这种方法也是很有好处的。
1.2 生成物理数据库
要想正确选择基本物理实现策略,必须懂得数据库访问格式和硬件资源的操作特点,主要是内存和磁盘子系统i/o。这
是一个范围广泛的话题,但以下的准则可能会有所帮助。
1.与每个表列相关的数据类型应该反映数据所需的最小存储空间,特别是对于被索引的列更是如此。比如能使用
smallint类型就不要用integer类型,这样索引字段可以被更快地读取,而且可以在1个数据页上放置更多的数据行,因而
也就减少了i/o操作。
2.把1个表放在某个物理设备上,再通过sql server段把它的不分簇索引放在1个不同的物理设备上,这样能提高性
能。尤其是系统采用了多个智能型磁盘控制器和数据分离技术的情况下,这样做的好处更加明显。
3.用sql server段把一个频繁使用的大表分割开,并放在2个单独的智能型磁盘控制器的数据库设备上,这样也可以提
高性能。因为有多个磁头在查找,所以数据分离也能提高性能。
4.用sql server段把文本或图像列的数据存放在1个单独的物理设备上可以提高性能。1个专用的智能型的控制器能进
一步提高性能。
2 与sql server相关的硬件系统
与sql server有关的硬件设计包括系统处理器、内存、磁盘子系统和网络,这4个部分基本上构成了硬件平台,
windows nt和sql server运行于其上。
2.1 系统处理器(cpu)
根据自己的具体需要确定cpu结构的过程就是估计在硬件平台上占用cpu的工作量的过程。从以往的经验看,cpu配置最
少应是1个80586/100处理器。如果只有2~3个用户,这就足够了,但如果打算支持更多的用户和关键应用,推荐采用
pentium pro或pⅱ级cpu。
2.2 内存(ram)
为sql server方案确定合适的内存设置对于实现良好的性能是至关重要的。sql server用内存做过程缓存、数据和索
引项缓存、静态服务器开支和设置开支。sql server最多能利用2gb虚拟内存,这也是最大的设置值。还有一点必须考虑的
是windows nt和它的所有相关的服务也要占用内存。
windows nt为每个win32应用程序提供了4gb的虚拟地址空间。这个虚拟地址空间由windows nt虚拟内存管理器(vmm)映
射到物理内存上,在某些硬件平台上可以达到4gb。sql server应用程序只知道虚拟地址,所以不能直接访问物理内存,这
个访问是由vmm控制的。windows nt允许产生超出可用的物理内存的虚拟地址空间,这样当给sql server分配的虚拟内存多
于可用的物理内存时,会降低sql server的性能。
这些地址空间是专门为sql server系统设置的,所以如果在同一硬件平台上还有其它软件(如文件和打印共享,应用程
序服务等)在运行,那么应该考虑到它们也占用一部分内存。一般来说硬件平台至少要配置32mb的内存,其中,windows nt
至少要占用16mb。1个简单的法则是,给每一个并发的用户增加100kb的内存。例如,如果有100个并发的用户,则至少需要
32mb+100用户*100kb=42mb内存,实际的使用数量还需要根据运行的实际情况调整。可以说,提高内存是提高系统性能的
最经济的途径。
2.3 磁盘子系统
设计1个好的磁盘i/o系统是实现良好的sql server方案的一个很重要的方面。这里讨论的磁盘子系统至少有1个磁盘控
制设备和1个或多个硬盘单元,还有对磁盘设置和文件系统的考虑。智能型scsi-2磁盘控制器或磁盘组控制器是不错的选
择,其特点如下:
(1)控制器高速缓存。
(2)总线主板上有处理器,可以减少对系统cpu的中断。
(3)异步读写支持。
(4)32位raid支持。
(5)快速scsi—2驱动。
(6)超前读高速缓存(至少1个磁道)。
3 检索策略
在精心选择了硬件平台,又实现了1个良好的数据库方案,并且具备了用户需求和应用方面的知识后,现在应该设计查
询和索引了。有2个方面对于在sql server上取得良好的查询和索引性能是十分重要的,第1是根据sql server优化器方面
的知识生成查询和索引;第2是利用sql server的性能特点,加强数据访问操作。
3.1 sql server优化器
microsoft sql server数据库内核用1个基于费用的查询优化器自动优化向sql提交的数据查询操作。数据操作查询是
指支持sql关键字where或having的查询,如select、delete和update。基于费用的查询优化器根据统计信息产生子句的费
用估算。
了解优化器数据处理过程的简单方法是检测showplan命令的输出结果。如果用基于字符的工具(例如isql),可以通过
键入show showplan on来得到showplan命令的输出。如果使用图形化查询,比如sql enterprise manager中的查询工具或
isql/w,可以设定配置选项来提供这一信息。
sql server的优化通过3个阶段完成:查询分析、索引选择、合并选择。
1.查询分析
在查询分析阶段,sql server优化器查看每一个由正规查询树代表的子句,并判断它是否能被优化。sql server一般
会尽量优化那些限制扫描的子句。例如,搜索和/或合并子句。但是不是所有合法的sql语法都可以分成可优化的子句,如
含有sql不等关系符“<>”的子句。因为“<>”是1个排斥性的操作符,而不是1个包括性的操作符,所在扫描整个表之前无
法确定子句的选择范围会有多大。当1个关系型查询中含有不可优化的子句时,执行计划用表扫描来访问查询的这个部分,
对于查询树中可优化的sql server子句,则由优化器执行索引选择。
1
上一篇: 将pip源更换到国内镜像
下一篇: python之常用的pip命令
推荐阅读
-
掌握SQL Server数据库快照的工作原理第1/2页
-
SQL Server数据库性能优化技术第1/2页
-
SQL SERVER性能优化综述(很好的总结,不要错过哦)第1/3页
-
掌握SQL Server数据库快照的工作原理第1/2页
-
SQL SERVER性能优化综述(很好的总结,不要错过哦)第1/3页
-
sql server数据库性能优化之2-避免使用CTE公用表达式的递归【by zhang502219048】
-
sql server数据库性能优化之1-慎用distinct避免不必要的distinct【by zhang502219048】
-
SQL SERVER性能优化综述(很好的总结,不要错过哦)第1/3页
-
SQL Server数据库的高性能优化经验总结
-
SQL Server数据库性能优化技术第1/2页