MySQL InnoDB Online DDL学习

正文

mysql online ddl这个新特性是在mysql5.6.7开始支持的，更早期版本的mysql进行ddl对于dba来说是非常痛苦的。现在主流版本都集中在5.6与5.7，为了更好的理解online ddl的工作原理与机制，本文就对online ddl的实现方式进行总结。

本文使用的mysql版本为官方社区版 5.7.24。

(root@localhost) [test] > select version();
+------------+
| version()  |
+------------+
| 5.7.24-log |
+------------+
1 row in set (0.00 sec)

主要说明

online ddl这个新特性解决了早期版本mysql进行ddl操作同时带来锁表的问题，在ddl执行的过程当中依然可以保证读写状态，不影响数据库对外提供服务，大大提高了数据库和表维护的效率。

• 早期实现方式(mysql5.6.7之前版本)

早期版本mysql执行ddl语句时主要通过以下方式进行：

copy方式：
这是innodb最早期支持的方式，主要实现步骤：

1. 创建与原表结构定义一致的临时表；
2. 对原表加锁，不允许执行dml，但允许查询；
3. 在临时表上执行ddl语句；
4. 逐行拷贝原表数据到临时表；
5. 原表与临时表进行rename操作，此时会升级原表上的锁，不允许读写，直至完成ddl操作；

inplace方式：
inplace方式也称为innodb fast index creation，是mysql5.5及之后版本为了提高创建二级索引效率的方式，所以inplace方式仅限于二级索引的创建跟删除，关于fast index creation可以参考官方文档：innodb fast index creation，主要实现步骤：

1. 创建临时的frm文件；
2. 对原表加锁，不允许执行dml，但允许查询；
3. 根据聚集索引的顺序，构造新的索引项，按照顺序插入新索引页；
4. 升级原表上的锁，不允许读写操作；
5. 进行rename操作，替换原表的frm文件，完成ddl操作。

相对于copy方式，inplace方式在原表上进行，不会生成临时表，也不会拷贝原表数据，减少了很多系统i/o资源占用，但还是无法进行dml操作，也只适用于索引的创建与删除，并不适用于其他类型的ddl语句。

• 当前实现方式(mysql5.6.7及之后版本)

在mysql5.6.7及之后版本中推出了新的特性：

online ddl方式：
online ddl特性是基于mysql5.5的innodb fast index creation上改进增强的。online ddl同样包含两种方式：

1. copy方式；
2. inplace方式。

其中，某些ddl语句不支持online ddl的就采用copy方式，支持online ddl的则采用inplace方式，因为online ddl是对早期inplace方式的增加，所以inplace方式根据是否涉及到记录格式的修改又分为如下两种情形：

1. rebuilds table；
2. no-rebuilds table。

rebuilds table操作是因为ddl有涉及到行记录格格式的修改，如字段的增、删、类型修改等；
no-rebuilds table则不涉及行记录格式的修改，如索引删除、字段名修改等。

online ddl选项

• algorithm={copy|inplace}
  指定ddl执行时对表的操作方式。首选是inplace，但并非所有的语句都支持inplace，需要根据ddl语句类型决定。

• lock={none|shared|default|exclusive}
  指定ddl执行时对表锁定方式。默认情况下mysql在表执行ddl时会尽量使用最少的锁定，lock选项可以为ddl语句指定执行更为严格的锁定方式，一旦指定的锁级别低于ddl语句执行所需的锁级别，则ddl语句会执行失败。
  • none：允许并发查询和dml操作；
  • shared：允许并发查询，但不允许dml操作；
  • default：允许尽可能多的并发查询或dml操作(或两者都允许)，没指定lock选项默认就为default；
  • exclusive：不允许并发查询和dml操作。

online ddl类型

根据官方文档online ddl operations的描述，结合常见的表ddl执行语句，mysql5.7支持的online ddl操作类型主要有以下种类：

1. 索引操作
2. 字段操作
3. 组合字段操作
4. 主键操作
5. 外键操作
6. 表操作
7. 表分区操作
8. 表空间操作

索引操作

索引操作类型如下表所示：

操作(operation)	原表操作(in place)	重建表操作(rebuilds table)	允许并发dml操作(permits concurrent dml)	仅修改元数据(only modifies metadata)
创建添加二级索引	yes	no	yes	no
重命名索引	yes	no	yes	yes
删除索引	yes	no	yes	yes
创建全文索引	yes	no	no	no
创建空间索引	yes	no	no	no
修改索引类别	yes	no	yes	yes

由以上表格可以看出涉及索引的ddl操作都可以使用inplace方式来完成，除了创建全文索引与空间索引之外都允许dml操作，并不会锁表。

-- 创建添加二级索引
create index index_name on table_name (column[,column]..);
或
alter table table_name add index index_name (column[,column]..);

-- 删除索引
drop index index_name on table_name;
或
alter table table_name drop index index_name;

-- 重命名索引
alter table table_name rename index old_index_name to new_index_name, algorithm=inplace, lock=none;

-- 创建全文索引
create fulltext index index_name on table_name(column[,column]..);

-- 创建空间索引
create table geom (g geometry not null);
alter table geom add spatial index(g), algorithm=inplace, lock=none;

-- 修改索引类型
alter table table_name drop index index_name, add index index_name(column[,column]..) using btree, algorithm=inplace;

字段操作

字段操作类型如下表所示：

操作(operation)	原表操作(in place)	重建表操作(rebuilds table)	允许并发dml操作(permits concurrent dml)	仅修改元数据(only modifies metadata)
添加字段	yes	yes	yes	no
删除字段	yes	yes	yes	no
重命名字段	yes	no	yes	yes
重排序字段	yes	yes	yes	no
字段指定默认值	yes	no	yes	yes
字段修改类型	no	yes	no	no
扩展varchar字段大小	yes	no	yes	yes
删除字段默认值	yes	no	yes	yes
修改自增值	yes	no	yes	no
字段指定null	yes	yes	yes	no
字段指定not null	yes	yes	yes	no
修改枚举(enum or set)定义值	yes	no	yes	yes

从以上表格可以看出，除了修改字段类型的ddl语句无法使用inplace方式外，其他都可以使用到inplace方式执行ddl语句。

-- 添加字段，如果添加的是自增列，还是不允许dml操作
alter table table_name add column column_name(column_definition), algorithm=inplace, lock=none;

-- 删除字段
alter table table_name drop column column_name, algorithm=inplace, lock=none;

-- 重命名字段
/*
为了允许并发dml操作，需保持重命名后字段类型一致，只修改字段名；
如果重命名的字段在外键定义中，外键定义也会自动更新为新字段名。
*/
alter table table_name change old_column_name new_column_name data_type, algorithm=inplace, lock=none;

-- 重排序字段，使用first或after
after table table_name modify column column_name column_definition first, algorithm=inplace, lock=none;

-- 字段修改类型，只支持copy方式
alter table table_name change column column column_definition, algorithm=copy;

-- 扩展varchar字段大小
/*
当varchar字节长度为0~255时，需要额外一个字节进行编码；
当varchar字节长度大于255时，则需要额外两个字节进行编码；
当varchar字节长度在0~255之间时，并且需从小变大的情况，支持inplace方式；
当varchar字节长度字节编码数从1变为2或者从2变为1时，则需要用copy方式。
*/
alter table table_name change column column column_definition, algorithm=inplace, lock=none;
-- 例表：
t(c1 varchar(20))
alter table t change c1 c1 varchar(85), algorithm=inplace, lock=none;
alter table t change c1 c1 varchar(10), algorithm=copy;
alter table t change c1 c1 varchar(100), algorithm=copy;

-- 字段指定默认值
alter table table_name alter column column_name set default literal, algorithm=inplace, lock=none;

-- 删除字段默认值
alter table table_name alter column column_name drop default, algorithm=inplace, lock=none;

-- 修改自增列值
alter table table_name auto_increment=next_value, algorithm=inplace, lock=none;

-- 字段指定null
alter table table_name modify column column_name data_type null, algorithm=inplace, lock=none;

-- 字段指定not null
-- sql_mode中需包含选项strict_trans_tables和strict_all_tables才能使用inplace，否则需使用copy
alter table table_name modify column column_name data_type not null, algorithm=inplace, lock=none;

-- 修改枚举(enum or set)定义值
-- 例表：
t (c2 enum('a','b','c'))
alter table t modify column c2 enum('a','b','c','d'), algorithm=inplace, lock=none;

组合字段操作

组合字段操作类型如下表所示：

操作(operation)	原表操作(in place)	重建表操作(rebuilds table)	允许并发dml操作(permits concurrent dml)	仅修改元数据(only modifies metadata)
添加存储(stored)组合字段	no	yes	no	no
删除存储(stored)组合字段	yes	yes	yes	no
修改存储(stored)组合字段顺序	no	yes	no	no
添加虚拟(virtual)组合字段	yes	no	yes	yes
删除虚拟(virtual)组合字段	yes	no	yes	yes
修改虚拟(virtual)组合字段顺序	no	yes	no	no

-- 例表：
t (c1 int,c2 varchar(20))
-- 添加存储组合字段
alter table t add column (c3 int generated always as (c1 + 2) stored), algorithm=copy;

-- 删除存储组合字段
alter table t drop column c3, algorithm=inplace, lock=none;

-- 修改存储组合字段顺序
alter table t modify column c3 int generated always as (c1 + 1) stored first, algorithm=copy;

-- 添加虚拟组合字段
-- 对于非分区表才可以使用inplace方式，不能与其他的alter table语句合并使用
alter table t add column (c3 int generated always as (c1 + 1) virtual), algorithm=inplace, lock=none;

-- 删除虚拟组合字段
-- 对于非分区表才可以使用inplace方式，不能与其他的alter table语句合并使用
alter table t drop column c3, algorithm=inplace, lock=none;

-- 修改虚拟组合字段顺序
alter table t modify column c3 int generated always as (c1 + 1) virtual first, algorithm=copy;

主键操作

主键操作类型如下表所示：

操作(operation)	原表操作(in place)	重建表操作(rebuilds table)	允许并发dml操作(permits concurrent dml)	仅修改元数据(only modifies metadata)
添加主键	yes	yes	yes	no
删除主键	no	yes	no	no
删除主键并添加新主键	yes	yes	yes	no

-- 例表：
t (c1 int,c2 varchar(20))
-- 添加主键
alter table t add primray key (c1),algorithm=inplace, lock=none;

采用inplace方式进行表数据重构，如果添加主键涉及字段没有not null属性时，则无法使用inplace方式，只能使用copy方式。innodb表为索引组织表，当涉及到聚集索引的重新构建时需要对表中数据进行拷贝，为了减少性能开销，最好在建表时就指定主键。

因为innodb表的特殊性，ddl操作主键一定会涉及到表行数据的拷贝操作，但通过inplace方式添加比copy方式添加主要有如下优势：
1.不需要记录undo和redo日志，记录日志会提升性能开销；
2.二级索引数据行是预先排序的，可以按顺序加载；
3.无需使用到change buffer，因为没有随机数据插入二级索引当中。

-- 删除主键
alter table t drop primary key,algorithm=copy;

-- 删除主键并添加新主键
alter table t drop primary key,add primary key(c1,c2), algorithm=inplace, lock=none;

外键操作

外键操作类型如下表所示：

操作(operation)	原表操作(in place)	重建表操作(rebuilds table)	允许并发dml操作(permits concurrent dml)	仅修改元数据(only modifies metadata)
添加外键	yes	no	yes	yes
删除外键	no	no	yes	yes

-- 添加外键
当系统参数foreign_key_checks = 0时，可以使用inplace方式，否则，只能使用copy方式。
alter table t1 add constraint fk_name foreign key index(col1) references t2(col2) referential_actions;

-- 删除外键
alter table t drop foreign key fk_name;

表操作

表操作类型如下表所示：

操作(operation)	原表操作(in place)	重建表操作(rebuilds table)	允许并发dml操作(permits concurrent dml)	仅修改元数据(only modifies metadata)
修改行格式	yes	yes	yes	no
修改索引键块大小	yes	yes	yes	no
设置永久表统计信息	yes	no	yes	yes
指定字符集	yes	yes	no	no
转换字符集	no	yes	no	no
优化表格	yes	yes	yes	no
使用force选项重建表	yes	yes	yes	no
使用null重建表	yes	yes	yes	no
重命名表	yes	no	yes	yes

-- 修改行格式
alter table table_name row_format = format, algorithm=inplace, lock=none;

-- 修改索引键块大小
alter table table_name key_block_size = value, algorithm=inplace, lock=none;

-- 设置永久表统计信息选项
alter table table_name stats_persistent = 0, stats_sample_pages = 20, stats_auto_recalc = 1, algorithm=inplace, lock=none;

-- 优化表
-- 如果表中有全文索引，则不能使用inplace方式，不能使用algorithm和lock子句。
optimize table table_name;

-- 使用force选项重建表
-- 如果表中有全文索引，则不能使用inplace方式。
alter table table_name force, algorithm=inplace, lock=none;

-- 使用null重建表
-- 如果表中有全文索引，则不能使用inplace方式。
alter table table_name engine = innodb, algorithm=inplace, lock=none;

-- 重命名表
alter table table_name rename to new_table_name, algorithm=inplace, lock=none;

表分区操作

表分区操作类型如下表所示：

分区子句(partitioning clause)	原表操作(in place)	允许dml操作(permits dml)	说明(notes)
partition by	no	no	只允许algorithm=copy,lock={default
add partition	no	no	只允许algorithm=default,lock=default 执行期间对于已采用range或list分区的数据不进行拷贝，对于已采用hash或list分区的数据允许并发查询。在需要拷贝数据时持有共享锁。
drop partition	no	no	只允许algorithm=default,lock=default 只允许algorithm=default,lock=default 只允许algorithm=default,lock=default 执行期间对于已采用range或list分区的数据不进行拷贝。
discard partition	no	no	只允许algorithm=default,lock=default
import partition	no	no	只允许algorithm=default,lock=default
truncate partition	yes	yes	不会对表中现有数据进行拷贝，仅仅删除分区数据行，不会改会表和表分区的定义。
coalesce partition	no	no	只允许algorithm=default,lock=default 对于已采用hash或list分区的数据允许并发查询。在需要拷贝数据时持有共享锁。
reorganize partition	no	no	只允许algorithm=default,lock=default 对于已采用linear hash或list分区的数据允许并发查询。在从受影响分区拷贝数据时持有mdl锁。
exchange partition	yes	yes
analyze partition	yes	yes
check partition	yes	yes
optimize partition	no	no	algorithm和lock子句被忽略。
rebuild partition	no	no	只允许algorithm=default,lock=default 对于已采用linear hash或list分区的数据允许并发查询。在从受影响分区拷贝数据时持有mdl锁。
repair partition	yes	yes
remove partitioning	no	no	只允许algorithm=copy,lock={default

表空间操作

表空间操作类型如下表所示：

操作(operation)	原表操作(in place)	重建表操作(rebuilds table)	允许并发dml操作(permits concurrent dml)	仅修改元数据(only modifies metadata)
开启或禁止独立表空间加密	no	yes	no	no

主要涉及独立表空间加密的online ddl操作：

alter table table_name encryption='y', algorithm=copy;

online ddl过程

online ddl主要有prepare(准备)、execute(执行)和commit(提交)三个阶段，如下：

• prepare：
  • 创建新的临时frm文件；
  • 持有exclusive-mdl锁，禁止读写操作；
  • 根据alter类型，确定执行方式(copy,online-rebuilds,online-no-rebuilds)；
  • 更新数据字典的内存对象；
  • 分配row_log对象记录增量(rebuilds需要)；
  • 生成新的临时ibd文件(rebuilds需要)。
• execute：
  • 降级exclusive-mdl锁，允许读写；
  • 记录执行期间产生的dml增量到row_log中(rebuilds需要)；
  • 扫描old_table的聚集索引中每一条记录record；
  • 遍历新表的聚集索引和二级索引，逐一处理；
  • 根据record构造对应的索引项；
  • 将构造的索引项插入sort_buffer块中；
  • 将sort_buffer块插入到新的索引中；
  • 将row_log中的记录应用到新临时表中，应用到最后一个block；
• commit：
  • 升级到execlusive-mdl锁，禁止读写；
  • 重做row_log中最后一部分的增量；
  • 更新innodb的数据字典表；
  • 提交事务，写innodb redo日志；
  • 修改统计信息；
  • rename临时的ibd和frm文件；
  • 执行变更完成。

row_log记录了ddl执行期间产生的dml操作，这保证了变更期间表的并发性，通过以上过程可以看出在execute(执行)阶段表允许读写操作，操作记录在row_log中，在最后阶段应用到新表当中，保证了数据的完整性。

online ddl涉及参数

• old_alter_table

属性(property)	值(value)
命令行格式(command-line format)	--old-alter-table
系统变量格式(system variable)	old_alter_table
作用范围(scope)	全局、会话
动态参数(dynamic)	是
类型(type)	布尔型
默认值(default value)	off

指定是否使用早期版本的ddl方式，默认为off，为动态参数，可以全局和会话级别修改。指定表ddl的执行过程当中采用copy方式生成临时表复制数据。

• innodb_online_alter_log_max_size

属性(property)	值(value)
命令行格式(command-line format)	--innodb-online-alter-log-max-size=#
系统变量格式(system variable)	innodb_online_alter_log_max_size
作用范围(scope)	全局
动态参数(dynamic)	是
类型(type)	数值型
默认值(default value)	134217728
最小值(minimum value)	65536
最大值(maximum value)	2**64-1

指定online ddl执行期间产生临时日志文件的最大大小，单位字节，默认大小为128mb。日志文件记录的是表在ddl期间的数据插入、更新和删除信息(dml操作)，一旦日志文件超过该参数指定值时，ddl执行就会失败并回滚所有未提交的当前dml操作，所以，当执行ddl期间有大量dml操作时可以提高该参数值，但同时也会增加ddl执行完成时应用日志时锁定表的时间。

online ddl注意事项

对于线上环境的mysql来说，任何类型的ddl都要十分谨慎，最好在语句执行之前可以分析下语句所使用的方式以及预估判断下影响的时长，尽量选择在业务访问的低峰期进行操作，主要有以下几点需要注意：

• 空间需求
  • 临时日志文件大小(innodb_online_alter_log_max_size)
    当ddl执行过程当中允许并发执行dml操作时的日志大小需求。
  • 临时排序文件大小(tmpdir)
    当ddl执行过程中表需要rebuild时临时排序文件是放在tmpdir指定的路径下的，需要保证该路径下的磁盘空间充足。临时排序文件都足够容纳所有二级索引以及聚簇索引的主键列，最终合并到新表或索引后，临时排序文件会被删除。在mysql5.7.11及之后版本当中新增系统参数innodb_tmpdir专门用来指定online ddl产生排序文件的路径。
  • 临时中间表文件大小
    当有些ddl执行过程中表需要rebuild时会在当前表所在路径下产生临时中间表文件，临时中间表文件大小可能需要与原表大小一致，在ddl执行过程当中产生。

• 合并拆分同表的ddl操作
  早期不支持online ddl时通常将同一张表中的多个ddl合并一起执行，以便减少多次rebuild表带来的性能消耗；
  现在online ddl特性出现之后，可以通过copy方式和inplace方式来进行分类并合并分组。其中inplace方式又可以根据是否rebuild表来进行分组合并，尽量减少ddl对系统的cpu、i/o资源的影响。

• 对于一些大表进行online ddl并需要重建表的操作
  • 现在还没有机制可以做到暂停online ddl的操作或者限制online ddl对服务器cpu、i/o资源的使用；
  • 如果online ddl执行失败，则回滚有可能会是一项昂贵的操作；
  • 执行时间过长的online ddl可能会导致主从复制的延迟。因为主库在执行ddl时可能允许dml并发操作，而在从库只能在执行完ddl语句之后再进行应用dml语句操作。

总结

总之，对于线上环境的ddl语句执行同样也需要保持敬畏之心，无论执行的ddl语句是复杂还是简单，最好可以评估下执行成本，还有需要选择在业务低峰期进行操作。

参考

☆〖本人水平有限，文中如有错误还请留言批评指正！〗☆