mysql 双机故障切换方案

情景描述：原来两台数据库server做主从，因为前端有redis帮忙扛着大部分读压力，故而数据库的压力并不大，所以我们也没做读写分离，从库单纯作为备份用。这样明

情景描述：

原来两台数据库server做主从，因为前端有redis帮忙扛着大部分读压力，故而数据库的压力并不大，所以我们也没做读写分离，从库单纯作为备份用。

这样明显有两个缺点

1、主库是单点

2、从库资源浪费

所以便想出了如下的方案：让从库作为主库的热备，具备自动故障切换（failover）功能。

基本思路：

将DB1和DB2做成主动被动模式的双主结构：DB1主动；DB2被动（通过read_only参数实现除root用户之外的只读特性），通过keepalived VIP对外，将VIP设置成原DB1的IP，保持改造过程对代码透明。

正常时，VIP在DB1，通过keepalived调用脚本定期检查mysql服务可用性（通过一个低权限用户连接mysql服务器并执行一个简单查询，根据返回结果来判定mysql是否可用）

若无法执行查询：

进一步通过 service mysql status 检查mysql服务是否正常：

若服务状态不正常，则尝试重启mysql，继续判断可用性：

若重启过后执行查询OK，则本次检查OK

若重启后仍无法执行查询，则应该关闭DB1的mysql，然后关闭DB1的keepalived，使VIP漂移到DB2，DB的keepalived察觉到自己进入master状态，通过notify_master机制触发脚本，完成将DB2的mysql从被动状态（只读）切换到主动状态（可读可写）的操作，并且发送通知邮件

若服务状态正常，则等待30s再次尝试，若仍然无法执行查询，则重启DB1的mysql，再尝试执行sql。若仍然无法执行成功，，则执行关闭DB1的 mysql、keepalived，并将mysql服务切换至DB2的操作。

以上是大致思路，具体实现看过下面的脚本，就会一目了然了。

DB1上keepalived 配置

! Configuration File for keepalived global_defs { notification_email { [e-mail] } notification_email_from [e-mail] smtp_server 118.194.37.21 smtp_connect_timeout 30 router_id LVS_DEVEL } vrrp_script chk_mysql { script "/etc/keepalived/check_mysql.sh" interval 30 #这里我的检查间隔设置的比较长，因为我们数据库前面有redis做缓存，数据库一两分钟级别的终端对整体可用性影响不大。这也是我没有采用成熟的方案而自己搞了这一套方案的“定心丸” } vrrp_instance VI_1 { state MASTER interface em2 virtual_router_id 51 priority 100 advert_int 1 nopreempt #防止切换到从库后，主keepalived恢复后自动切换回主库 authentication { auth_type PASS auth_pass 1111 } track_script { chk_mysql } virtual_ipaddress { 192.168.1.5/24 } }

/etc/keepalived/check_mysql.sh脚本内容如下

#!/bin/sh ###判断如果上次检查的脚本还没执行完，则退出此次执行 if [ `ps -ef|grep -w "$0"|grep "/bin/sh*"|grep "?"|grep "?"|grep -v "grep"|wc -l` -gt 2 ];then #理论上这里应该是1，但是实验的结果却是2 exit 0 fi ###定义一个简单判断mysql是否可用的函数 function excute_query { mysql -uxxx -pxxx -e "show processlist;" 2>>/etc/keepalived/logs/check_mysql.err } ###定义无法连接mysql，且mysql服务状态异常时的处理函数 function service_error { echo -e "`date "+%F %H:%M:%S"` -----try restarting mysql-----" >> /etc/keepalived/logs/check_mysql.err /sbin/service mysql restart &>> /etc/keepalived/logs/check_mysql.err /sbin/service mysql status &>/dev/null if [ $? -ne 0 ];then ###若重启mysql服务后，仍不正常----关闭mysql----关闭keepalived echo -e "`date "+%F %H:%M:%S"` -----restart mysql failure-----" >> /etc/keepalived/logs/check_mysql.err echo -e "`date "+%F %H:%M:%S"` -----stop mysql-----" >> /etc/keepalived/logs/check_mysql.err /sbin/service mysql stop &>> /etc/keepalived/logs/check_mysql.err echo -e "`date "+%F %H:%M:%S"` -----now stop keepalived-----" >> /etc/keepalived/logs/check_mysql.err /sbin/service keepalived stop &>> /etc/keepalived/logs/check_mysql.err echo -e "\n@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@\n" >> /etc/keepalived/logs/check_mysql.err fi } ###定义若mysql服务正常,但是无法执行查询的处理函数 function connect_error { echo -e "`date "+%F %H:%M:%S"` -----excute query error, but mysql service is ok, retry after 30s-----" >> /etc/keepalived/logs/check_mysql.err sleep 30 excute_query; if [ $? -ne 0 ];then echo -e "`date "+%F %H:%M:%S"` -----still can not connect to mysql-----" >> /etc/keepalived/logs/check_mysql.err service_error; excute_query; if [ $? -ne 0 ];then echo -e "`date "+%F %H:%M:%S"` -----stop mysql-----" >> /etc/keepalived/logs/check_mysql.err /sbin/service mysql stop &>> /etc/keepalived/logs/check_mysql.err echo -e "`date "+%F %H:%M:%S"` -----stop keepalived-----" >> /etc/keepalived/logs/check_mysql.err /sbin/service keepalived stop &>> /etc/keepalived/logs/check_mysql.err echo -e "\n@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@\n" >> /etc/keepalived/logs/check_mysql.err fi fi } ###检查开始: mysql是否可连接 excute_query; if [ $? -ne 0 ];then ###检查服务状态 /sbin/service mysql status &>/dev/null if [ $? -ne 0 ];then ###若服务不正常 echo -e "`date "+%F %H:%M:%S"` -----mysql service error-----" >> /etc/keepalived/logs/check_mysql.err service_error; else ###若服务正常，但无法连接 connect_error; fi fi 注：脚本里关闭keepalived是在完全关闭mysql之后才执行，这样做的潜在缺点是：假如mysql服务关闭的时间过长，则直接导致整个切换过程过长，即服务终止时间过长 但是，之所以选择完全关闭DB1的 mysql再切换到DB2，是为了避免某些因素导致的数据不一致的发生