Oracle数据块实现原理深入解读

下午在学习oracle 10g r2 concepts

在这留一笔。

oracle对数据库数据文件（datafile）中的存储空间进行管理的单位是数据块（data block）。数据块是数据库中最小的（逻辑）数据单位。与数据块对应的，所有数据在操作系统级的最小物理存储单位是字节（byte）。每种操作系统都有一个被称为块容量（block size）的参数。oracle每次获取数据时，总是访问整数个（oracle）数据块，而不是按照操作系统块的容量访问数据。

数据库中标准的数据块（data block）容量是由初始化参数 db_block_size指定的。除此之外，用户还可以指定五个非标准的数据块容量（nonstandardblock size）。数据块容量应该设为操作系统块容量的整数（同时小于数据块容量的最大限制），以便减少不必要的i/o操作。oracle数据块是oracle可以使用和分配的最小存储单位。

数据块结构

在oracle中，不论数据块中存储的是表（table）、索引（index）或簇表（clustered data），其内部结构都是类似的。块结构图如下所示：

本图显示了数据块的各个组成部分，包括：数据块头（包括标准内容和可变内容）（common and variable header），表目录区（table directory），行目录区（row directory），可用空间区（free space），行数据区（row data）。图中两个箭头表示一个数据块中的可用空间区的容量是可变的。

数据块头（包括标准内容和可变内容）

数据块头（header）中包含了此数据块的概要信息，例如块地址（block address）及此数据块所属的段（segment）的类型（例如，表或索引）。

表目录区

如果一个数据表在此数据块中储存了数据行，那么数据表的信息将被记录在数据块的表目录区（table directory）中。

行目录区

此区域包含数据块中存储的数据行的信息（每个数据行片断（row piece） 在行数据区（row data area）中的地址）。[一个数据块中可能保存一个完整的数据行，也可能只保存数据行的一部分 ，所以文中使用row piece]

当一个数据块（data block）的行目录区（row directory）空间被使用后，即使数据行被删除（delete），行目录区空间也不会被回收。举例来说，当一个曾经包含50条记录的数据块被清空后，其块头（header）的行目录区仍然占用100字节（byte）的空间

管理开销

数据块头（data block header），表目录区（table directory），行目录区（rowdirectory）被统称为管理开销（overhead）。其中 有些开销的容量是固定的；而有些开销的总容量是可变的。数据块中固定及可变管理开销的容量平均在84到107字节（byte）之间。

行数据

数据块（data block）中行数据区（row data）包含了表或索引的实际数据。一个数据行可以跨多个数据块。

可用空间区

在插入新数据行，或在更新数据行需要更多空间时（例如，原来某行最后一个字段为空（trailing null），现在要更新为非空值），将 使用可用空间区（free space）中的空间。如果一个数据块（data block）属于表或簇表的数据段（data segment），或属于索引的索引段（index segment），那么在其可用空间区中还可能会存储事务条目（transaction entry）。如果一个数据块中的数据行（row）正在由insert，update，delete，及 select...for update 语句访问，此数据块中就需要保存事务条目。事务条目所需的存储空间依据操作系统而定。在常见的操作系统中事务条目大约需要占用23字节（byte）。

可用空间管理

可用空间可以被手动或自动管理

数据库中，每个段（segment）的可用空间可以被自动管理。段内的可用/已用空间以位图（bitmap）形式记录，这与可用块以列表方式的管理不同。段空间自动管理（automatic segment-space management）具备以下优势：

● 易于使用● 空间利用效率更高，尤其针对每行数据容量差异大的表（或其他对象）● 能够更好地针对当前数据的情况实时调整● better multi-instance behavior. in terms of performance/space utilization

用户可以在创建一个本地管理的表空间（locally managed tablespace）时选择自动段空间管理（automatic segment-space management）功能。这样在此表空间内创建的段都将默认地设置为自动段空间管理。

数据块可用空间的有效性及优化

有两种sql语句可以增加数据块中的可用空间：分别是 delete 语句，和将现有数据值更新为占用容量更小值的 update 语句。在以下两种条件下，上述两中操作释放的空间可以被后续的 insert 语句使用：

● 如果 insert 语句与上述两种操作在同一事务（transaction）中，且位于释放空间的语句之后，那么 insert 语句可以使用被释放的空间。● 如果 insert 语句与释放空间的语句在不同的事务中（比如两者是由不同的用户提交的），那么只有在释放空间的语句提交后，且插入数据必需使用此数据块时，insert 语句才会使用被释放的空间。

数据块（data block）中被释放出的空间未必与可用空间区（free space）相连续。oracle在满足以下条件时才会将释放的空间合并到可用空间区：（1）insert 或 update 语句选中了一个有足够可用空间容纳新数据的数据块，（2）但是此块中的可用空间不连续，数据无法被写入到数据块中连续的空间里。oracle只在 满足上述条件时才对数据块中的可用空间进行合并，这样做是为了避免过于频繁的空间合并工作影响数据库性能。

行链接（row chaining）及行迁移（row migrating）

有两种情况会导致表中某行数据过大，一个数据块（data block）无法容纳。第一种情况，当一行数据被插入时一个数据块就无法容纳。在这种情况下oracle将这行数据存储在段内的一个数据块链（chain）中。在插入数据量大的行时常会发生行链接（row chaining），例如一个包含数据类型为 long 或long raw 列的数据行。此时行链接不可避免。

第二种情况，原本存储在一个数据块（data block）内的数据行，因为更新操作导致长度增长，而所在数据块的可用空间也不能容纳增长后的数据行。在这种情况下，oracle将此行数据迁移（migrate）到新的数据块中。oracle在被迁移数据行原来所在位置保存一个指向新数据块的指针。被迁移数据行的rowid 保持不变。

当数据行发生链接（chain）或迁移（migrate）时，对其访问将会造成 i/o 性能降低，因为oracle为获取这些数据行的数据时，必须访问更多的数据块（data block）。

pctfree，pctused，及行链接（row chaining）

在手动管理的表空间（manually managed tablespaces）中，用户可以使用pctfree 和 pctused 这两个存储管理参数来控制对某段（segment）进行插入和更新操作时，如何利用属于此段的数据块（data block）中的可用空间。用户也可以在创建或修改索引时为其设定 pctfree 参数（索引存储在索引段（index segment）中）

pctfree 参数

pctfree 参数用来设置一个数据块（data block）中至少需要保留（reserve）多少可用空间（百分比值），为数据块中已有数据更新时可能发生的数据量增长做准备。例如，当用户用 create table 语句创建表时指定了以下参数：

pctfree 20

这个参数设定了此表对应的数据段（data segment）中的每个数据块（datablock）至少保留20%的可用空间，以备块中已有数据更新时使用。只要数据块中行数据区与数据块头的容量之和不超过数据块总容量的80%，用户就可以向其中插入新数据，数据行被放入行数据区（row data area），相关信息被写入数据块头（overhead area）

下图说明了pctfree 的作用：

 

pctused 参数

pctused 参数用于决定一个数据块（data block）是否可被用于插入新数据，她的依据是数据区（row data）与数据块头（overhead）的容量之和占数据块全部容量的最大百分比。当一个数据块中的可用空间比例小于pctfree 参数的规定时，oracle就认为此数据块无法被用于插入新数据，直到数据块中的占用容量比例小于 pctused 参数的限定。在占用容量比例大于 pctused 参数的限定之前，oracle只在更新数据块内已有数据时才会使用此数据块的可用空间。例如，当用户用 create table 语句创建表时指定了以下参数：

pctused 40

在例子中，当此表的某数据块占用容量比例高于40%时，oracle不会将此数据块用于插入新数据行（假设此数据块的可用空间曾经低于 pctfree 的限定）

pctused 的作用

pctfree 和 pctused 如何协同发挥作用

pctfree 和 pctused 共同作用可以优化数据块（data block）的空间使用。

使用 pctfree 和 pctused 参数管理数据块的可用空间

 

上图说明了 pctfree 和 pctused 如何共同作用以管理数据块（data block）可用空间的使用。

在第一步中，数据块占用空间比例小于80%时才能插入新数据，因为pctfree 参数限定必须保留20%的可用空间用于块内已有数据的更新。在第二步中，对数据块中已有数据的更新操作可以使用数据块中的保留空间。只有当数据块内的占用空间比例低于40%时才能向其中插入新数据。在第三步中，当数据块内的占用空间比例低于40%时，此数据块再次可以被用于插入新数据。在第四步中，数据块占用空间比例小于80%时才能插入新数据，因为pctfree 参数限定必须保留20%的可用空间用于块内已有数据的更新。此过程如此往复循环。

在新分配的数据块中（data block），可用于插入（insert）数据的空间等于数据块总容量减去数据块头（block overhead）再减去预留可用空间（pctfree）。而更新（update）数据块内已有数据可使用数据块中的所有可用空间。因此，更新操作能够使数据块内的可用空间低于的 pctfree 限制，因为这些空间是专为更新操作而预留的。

在每个数据段（data segment）与索引段（index segment）中，oracle管理着一个或多个可用块列表（free list）--其中列出了所有属于此段的数据扩展（extent），且可用空间比例大于 pctfree 限定的数据块。这些块可以被插入（insert）操作使用。当用户提交了 insert 语句后，oracle从可用块列表中选择第一个有效的数据块使用。如果此数据块的可用空间不够容纳 insert语句提交的数据，且此块的占用容量已经超过pctused 的限定，oracle就将其从可用块列表中移出。一个段可以同时使用多个可用块列表，以减少对一个表进行并发插入（concurrent insert）时产生的竞争。

当用户提交了 delete 或 update 语句后，oracle处理语句并检查相关数据块中的占用空间比例是否小于 pctused 的规定。如果满足，那么这个数据块就被放入当前事务（transaction）正在使用的可用块列表（free list）的头部，如果当前事务还需要写入数据，此块将被首先使用。当事务提交后，此数据块中的可用空间还可被其他事务使用。