简单谈谈MySQL的半同步复制

简介

mysql通过复制（replication）实现存储系统的高可用。目前，mysql支持的复制方式有：

1. 异步复制（asynchronous replication）：原理最简单，性能最好。但是主备之间数据不一致的概率很大。
2. 半同步复制（semi-synchronous replication）：相比异步复制，半同步复制牺牲了一定的性能，提升了主备之间数据的一致性（有一些情况还是会出现主备数据不一致）。
3. 组复制（group replication）：基于paxos算法实现分布式数据复制的强一致性。只要大多数机器存活就能保证系统可用。相比半同步复制，group replication的数据一致性和系统可用性更高。
   

本文主要讨论mysql半同步复制。

半同步复制的基本流程

mysql半同步复制的实现是建立在mysql异步复制的基础上的。mysql支持两种略有不同的半同步复制：after_sync和after_commit（受rpl_semi_sync_master_wait_wait_point控制）。

开启半同步复制时，master在返回之前会等待slave的响应或超时。当slave超时时，半同步复制退化成异步复制。这也是mysql半同步复制存在的一个问题。本文不讨论salve超时的情形（不讨论异步复制）。

半同步复制after_sync模式的基本流程

after_sync模式是mysql 5.7才支持的半同步复制方式，也是mysql5.7默认的半同步复制方式：

• prepare the transaction in the storage engine(s).
  
• write the transaction to the binlog, flush the binlog to disk.
  
• wait for at least one slave to acknowledge the reception for the binlog events for the transaction.
  
• commit the transaction to the storage engine(s).
  

半同步复制after_commit模式的基本流程

mysql 5.5和5.6的半同步复制只支持after_commit：

• prepare the transaction in the storage engine(s).
  
• write the transaction to the binlog, flush the binlog to disk.
  
• commit the transaction to the storage engine(s).
  
• wait for at least one slave to acknowledge the reception for the binlog events for the transaction.
  

after_sync和after_commit两种方式的小结

after_sync： 日志复制到slave之后，master再commit。
所有在master上commit的事务都已经复制到slave。
所有已经复制到slave的事务在master不一定commit了（比如，master将日志复制到slave之后，在commit之前宕机了）

after_commit：master commit之后再将日志复制到slave。
所有master上commit的事务不一定复制到slave。（比如，master commit之后，还没来得及将日志复制到slave就宕机了）
所有已经复制到slave的事务在master上一定commit了。
很明显，after_commit在master宕机的情况下，无法保证数据的一致性（master commit之后，还没来得及将日志复制到slave就宕机了）。本文接下来只讨论after_sync模式。
mysql5.7.3开始支持配置半同步复制等待slave应答的个数：rpl_semi_sync_master_wait_slave_count 。

after_sync模式下的异常情况分析

异常情况1：master宕机后，主备切换。

master执行事务t，在将事务t的binlog刷到硬盘之前，master发生宕机。slave升级为master。master重启后，crash recovery会对事务t进行回滚。主备数据一致。

master执行事务t，在将事务t的binlog刷到硬盘之后，收到slave的ack之前，master发生宕机（存在pendinglog）。slave升级为master。

2.1 slave还没有收到事务t的binlog，master重启后，crash recovery会直接提交pendinglog。主备数据不一致。

2.2 slave已经收到事务t的binlog。主备数据一致。

异常情况2：master宕机后，不切换主机。只需考虑异常情况1中的2.1。

master重启后，直接提交pendinglog，此时，主备数据不一致：

slave连接上master，通过异步复制的方式获得事务t的binlog。主备数据一致。
slave还没来得及复制事务t的binlog，如果master又发生宕机，磁盘损坏。主备数据不一致，事务t的数据丢失。
异常情况处理

从上面异常情况的简单分析我们得知，半同步复制需要处理master宕机后重启存在pendinglog（slave没有应答的binlog）的特殊情况。

针对master宕机后，不进行主备切换的情形：

在crash recovery之后，master等到slave的连接和复制，直到至少有一个slave复制了所有已提交的事务的binlog。（show master status on master and select master_pos_wait()  on slave）。

针对master宕机后，进行主备切换的情形：

旧master重启后，在crash recovery时，对pendinglog进行回滚。（人工截断master的binlog未复制的部分？）

思考

为什么master重启之后，crash recovery的过程中，是直接commit pendinglog，而不是重试请求slave的应答呢？

mysql的异步复制和半同步复制都是由slave触发的，slave主动去连接master同步binlog。

没有发生主备切换，机器重启后无法知道哪台机器是slave。
如果发生主备切换，它已经不是master了，则不会再有slave连上来。如果继续等待，则无法正常运行。

总结

mysql半同步复制存在以下问题：

1. 当slave超时时，会退化成异步复制。
2. 当master宕机时，数据一致性无法保证，需要人工处理。
3. 复制是串行的。

正因为mysql在主备数据一致性存在着这些问题，影响了互联网业务7*24的高可用服务，因此各大公司纷纷祭出自己的“补丁”：腾讯的tdsql、微信的phxsql、阿里的alisql、网易的innosql。

mysql官方已经在mysql5.7推出新的复制模式——mysql group replication。

参考文献

mysql半同步复制的数据一致性探讨

mysql high availability solutions

loss-less semi-synchronous replication on mysql 5.7.2

enhanced semisync replication