MySQL数据库的高可用方案总结

高可用架构对于互联网服务基本是标配，无论是应用服务还是数据库服务都需要做到高可用。虽然互联网服务号称7*24小时不间断服务，但多多少少有一些时候服务不可用，比如某些时候网页打不开，百度不能搜索或者无法发微博，发微信等。一般而言，衡量高可用做到什么程度可以通过一年内服务不可用时间作为参考，要做到3个9的可用性，一年内只能累计有8个小时不可服务，而如果要做到5个9的可用性，则一年内只能累计5分钟服务中断。所以虽说每个公司都说自己的服务是7*24不间断的，但实际上能做到5个9的屈指可数，甚至根本做不到，国内互联网巨头bat(百度，阿里巴巴，腾讯)都有因为故障导致的停服问题。对于一个系统而言，可能包含很多模块，比如前端应用，缓存，数据库，搜索，消息队列等，每个模块都需要做到高可用，才能保证整个系统的高可用。对于数据库服务而言，高可用可能更复杂，对用户的服务可用，不仅仅是能访问，还需要有正确性保证，因此讨论数据库的高可用方案时，一般会同时考虑方案中数据一致性问题。今天这篇文章主要讨论mysql数据库的高可用方案，介绍每种方案的特性以及优缺点，本文是对各种方案的总结，希望抛砖引玉，和大家一起讨论。

1.基于共享存储的方案san
方案介绍：san(storage area network)简单点说就是可以实现网络中不同服务器的数据共享，共享存储能够为数据库服务器和存储解耦。使用共享存储时，服务器能够正常挂载文件系统并操作，如果服务器挂了，备用服务器可以挂载相同的文件系统，执行需要的恢复操作，然后启动mysql。共享存储的架构如下:

优点:
1.可以避免存储外的其它组件引起的数据丢失。
2.部署简单，切换逻辑简单，对应用透明。
3.保证主备数据的强一致。
限制或缺点:
1.共享存储是单点，若共享存储挂了，则会丢失数据。
2.价格比价昂贵。

2.基于磁盘复制的方案 drbd
方案介绍：drbd(distributed replicated block device)是一种磁盘复制技术，可以获得和san类似的效果。dbrd是一个以linux内核模块方式实现的块级别同步复制技术。它通过网卡将主服务器的每个块复制到另外一个服务器块设备上，并在主设备提交块之前记录下来。drbd与san类似，也是有一个热备机器，开始提供服务时会使用和故障机器相同的数据，只不过drbd的数据是复制存储，不是共享存储。drbd的架构图如下：

优点：
1.切换对应用透明
2.保证主备数据的强一致。
限制或缺点：
1.影响写入性能，由于每次写磁盘，实质都需要同步到网络服务器。
2.一般配置两节点同步，可扩展性比较差
3.备库不能提供读服务，资源浪费

3.基于主从复制(单点写)方案
前面讨论的两种方案分别依赖于底层的共享存储和磁盘复制技术，来解决mysql服务器单点和磁盘单点的问题。而实际生产环境中，高可用更多的是依赖mysql本身的复制，通过复制为master制作一个或多个热副本，在master故障时，将服务切换到热副本。下面的几种方案都是基于主从复制的方案，方案由简单到复杂，功能也越来越强大，实施难度由易到难，各位可以根据实际情况选择合适的方案。
3.1.keepalived/heartbeat
方案介绍：
keepalived是一个ha软件，它的作用是检测服务器(web服务器，db服务器等)状态，检查原理是模拟网络请求检测，检测方式包括http_get|ssl_get|tcp_check|smtp_check|misc_check等。对于db服务器而言，主要就是ip,端口(tcp_check)，但这可能不够(比如db服务器readonly)，因此keepalived也支持自定义脚本。keepalived通过监听来确认服务器的状态，如果发现服务器故障，则将故障服务器从系统中剔除。keepalived的高可用架构如下图，分别在主、从服务器上安装keepalived的软件，并配置同样的vip，vip层将真实ip屏蔽，应用服务器通过访问vip来获取db服务。当master故障时，keepalived感知，并将slave提升主，继续提供服务对应用层透明。

优点：
1. 安装配置简单
2. master故障时，slave快速切换提供服务，并且对应用透明。
限制或缺点：
1.需要主备的ip在同一个网段。
2.提供的检测机制比较弱，需要自定义脚本来确定master是否能提供服务，比如更新心跳表等。
3.无法保证数据的一致性，原生的mysql采用异步复制，若master故障，slave数据可能不是最新，导致数据丢失，因此切换时要考虑slave延迟的因素，确定切换策略。对于强一致需求的场景，可以开启(semi-sync)半同步，来减少数据丢失。
4.keepalived软件自身的ha无法保证。

3.2.mha
方案介绍：mha(master high availability)是一位日本mysql大牛用perl写的一套mysql故障切换方案，来保证数据库的高可用，mha通过从宕机的主服务器上保存二进制日志来进行回补，能在最大程度上减少数据丢失。mha由两部分组成：mha manager（管理节点）和mha node（数据节点）。mha可以单独部署在一*立的机器上管理多个master-slave集群，mha node运行在每台mysql服务器上，主要作用是切换时处理二进制日志，确保切换尽量少丢数据。mha manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master，整个故障转移过程对应用程序完全透明。mha的架构如下：

mha failover过程：
a.检测到 master 异常，进行一系列判断，最后确定 master 宕掉；
b.检查配置信息，罗列出当前架构中各节点的状态；
c.根据定义的脚本处理故障的 master，vip漂移或者关掉mysqld服务；
d.所有 slave 比较位点，选出位点最新的 slave，再与 master 比较并获得 binlog 的差异，copy 到管理节点；
e.从候选节点中选择新的 master，新的 master 会和位点最新的 slave 进行比较并获得 relaylog 的差异；
f.管理节点把 binlog 的差异 copy 到新 master，新 master 应用 binlog 差异和 relaylog 差异，最后获得位点信息，并接受写请求(read_only=0)；
g.其他 slave 与位点最新的 slave 进行比较，并获得 relaylog 的差异，copy 到对应的 slave；
h.管理节点把 binlog 的差异 copy 到每个 slave，比较 exec_master_log_pos 和 read_master_log_pos，获得差异日志；
i.每个slave应用所有差异日志，然后 reset slave 并重新指向新 master；
j.新 master reset slave 来清除 slave 信息。

优点：
1. 代码开源，方便结合业务场景二次开发
2. 故障切换时，可以修复多个slave之间的差异日志，最终使所有slave保持数据一致，然后从中选择一个充当新的master，并将其它slave指向它。
3. 可以灵活选择vip方案或者全局目录数据库方案(更改master ip映射)来进行切换。
缺点：
1.无法保证强一致，因为从故障master上保存二进制日志并不总是可行，比如master磁盘坏了，或者ssh认证失败等。
2.只支持一主多从架构，要求一个复制集群中必须最少有三台数据库服务器，一主二从，即一台充当master，一台充当备用master，另外一台充当从库。
3.采用全局目录数据库方案切换时，需要应用感知变化，因此对应用不透明，因此要保持切换对应用透明，依然依赖于vip。
4.不适用于大规模集群部署，配置比较复杂。
5.mha管理节点本身的ha无法保证。

3.3.基于zookeeper的高可用
方案介绍：
从前面的讨论可以看到，无论是keepalived方案还是mha方案，都无法解决ha软件自身的高可用问题，因为ha本身是单点。那么如果将ha也引入多个副本呢？那么又带来新的问题，1.ha软件之间如何保证强同步。2.如何确保不会有多个ha同时进行切换动作。这两个问题实质都分布式系统一致性问题，为此，可以为ha软件引入类似paxos，raft这样的分布式一致性协议，保证ha软件的可用性。zookeeper是一个典型的发布/订阅模式的分布式数据管理与协调框架，通过zookeeper中丰富的数据节点类型进行交叉使用，配合watcher事件通知机制，可以方便地构建一系列分布式应用涉及的核心功能，比如：数据发布/订阅，负载均衡，分布式协调/通知，集群管理，master选举，分布式锁和分布式队列等。zookeeper是一个很大话题，大家可以google去找更多的信息，我这里主要讨论zookeeper如何解决ha自身可用性问题。架构图如下：

图中每个mysql节点上面部署了一个ha client，用于实时向zookeeper汇报本地节点的心跳状态，比如主库crash，通过修改zookeeper(以下简称zk)上的节点信息，来通知ha。ha节点在zk上注册监听事件，当zk节点发生变化时会自动让ha感知，ha节点可以部署一个或多个，主要用于容灾。ha节点之间通过zookeeper服务来实现数据的一致性，通过分布式锁保证多个ha节点不会同时对一个主从节点进行切换。ha本身是无状态的，所有mysql节点状态信息全部保存在zookeeper服务器上，切换时，ha会对mysql节点进行复检，然后切换。我们看看引入zookeeper后的切换流程：
a.ha client 检测到 master 异常，进行一系列判断，最后确定 master 宕掉；
b.ha client 删除 master在zk上的节点信息；
c.由于监听机制，ha会感知到有节点被删除；
d.ha对mysql节点进行复检，比如建立连接，更新心跳表等
e.确认异常后，则进行切换。

我们再看看这种架构下，是否能保证ha自身的高可用
(1).如果ha-client本身挂了，mysql节点正常？
ha-client管理的mysql节点无法与zookeeper保持心跳，zk服务将节点删除，ha会感知到这种变化，准备尝试一次切换，切换前，会进行复检，复检时发现mysql节点是ok的，则不会切换。
(2).mysql节点与zookeeper的网络断了，那么表现如何？
由于ha-client与节点在同一台主机，因此ha-client无法再定时向zk汇报心跳，zk会将对应的mysql节点信息删除，ha尝试复检，依然失败，则进行切换。
(3).ha挂了，表现如何？
由于ha无状态，并且有多个副本，因此一个ha挂了，不会对整个系统造成影响。

优点：
1. 保证了整个系统的高可用
2. 主从的强一致依赖于mysql本身，比如半同步，或者外围工具的回补策略，类似mha。
3. 扩展性非常好，可以管理大规模集群。
缺点：
1.引入zk，整个系统变得复杂。

4.基于cluster(多点写)方案
第3节讨论的方案基本是目前业内使用的主流方案，这类方案的特点是，单点写。虽然我们可以借助中间件进行分片(sharding)，但是对于同一份数据，依然只允许一个节点写，从这个角度来说，上面的方案是伪分布式。下面讨论的两种方案算是真正分布式，同一个数据理论上可以在多个节点写入，类似于oracle的rac，emc的greenplum这种分布式数据库。在mysql领域，主要提供了2种解决方案：基于galera的pxc和ndb cluster。mysql cluster实现基于ndb存储引擎，使用很多局限性，而pxc是基于innodb引擎，虽然也有局限性，但由于目前innodb使用非常广泛，所以有一定的参考价值。目前据我所知，去哪儿公司在他们的生产环境中使用了pxc方案。pxc(percona xtradb cluster)的架构图如下：

优点：
1.准同步复制
2.多个可同时读写节点，可实现写扩展，较分片方案更进一步
3.自动节点管理
4.数据严格一致
5.服务高可用
缺点：
1.只支持innodb引擎
2.所有表都要有主键
3.由于写要同步到其它节点，存在写扩大问题
4.非常依赖于网络稳定性，不适用于远距离同步

5.基于中间件proxy的方案
准确地来说，中间件与高可用没有特别大的关系，因为切换都是在数据库层完成，但引入中间层后，使得对应用更透明。在引入中间件之前，所有的方案，基本都依赖于vip漂移机制，或者不依赖于vip又不能保证对应用透明。通过加入中间件层，可以同时实现对应用透明和高可用。此外中间层还可以做sharding，方便写扩展。proxy的方案很多，比如mysql自带的mysql-proxy和fabric，阿里巴巴的cobar和tddl等。我们以fabric为例，其架构图如下:

应用都请求 fabric 连接器，然后通过使用 xml-rpc 协议访问 fabric 节点， fabric 节点依赖于备用存储 (backing store)，里面存储整个 ha 集群的元数据信息。连接器读取 backing store 的信息，然后将元数据缓存到 cache，这样做的好处就是减少每次建立连接时与管理节点交互所带来的开销。fabric 节点可管理多个 ha group，每个 ha group 里有一个 primary 和多个 secondary(slave)，当 primary 异常的时候会从 secondary 中选出最合适的节点提升为新 primary，其余 secondary 都将重新指向新 primary。这些都是自动操作，对业务是无感知的，ha 切换之后还需要通知连接器更新的元数据信息。
优点：
1.切换对应用透明
2.可扩展性强，方便分片扩展
3.可以跨机房部署切换

缺点：
1.是一个比较新的组件，没有很多实际应用场景
2.没有解决强一致问题，主备强一致性依赖于mysql自身(半同步)，以及回滚回补机制。

总结
以上介绍了目前mysql几种典型的高可用架构，包括基于共享存储方案，基于磁盘复制方案和基于主从复制的方案。对于主从复制方案，分别介绍了keepalived，mha以及引入zookeeper的方案。对于每种方案，都从持续可用，数据强一致性，以及切换对应用的透明性进行说明。个人觉得基于mysql复制的方案是主流，也非常成熟，引入中间件和引入zookeeper虽然能将系统的可用性做地更好，可支撑的规模更大，但也对研发和运维也提出了更高的要求。因此，在选择方案时，要根据业务场景和运维规模做抉择。