编写脚本令Xtrabackup对MySQL数据进行备份的教程

xtrabackup备份恢复原理
备份innodb表时，xtrabackup若干个线程拷贝独立表空间的.ibd文件，并不停监视此过程中redo log的变化，添加到自己的事务日志文件（xtrabackup_logfile）中。在此过程中，发生的物理写操作越多，xtrabackup_logfile越大。在拷贝完成后的第一个prepare阶段，xtrabackup采用类似于innodb崩溃恢复的方法，把数据文件恢复到与日志文件一致的状态，并把未提交的事务回滚。如果同时需要备份myisam表以及innodb表结构等文件，那么就需要用flush tables with lock来获得全局锁，开始拷贝这些不再变化的文件，同时获得binlog位置，拷贝结束后释放锁，也停止对redo log的监视。
 
很多同学对上面的理解有混淆，以为拷贝.ibd文件就跟操作系统拷贝文件一样。其实这里涉及到fractured page的问题，他应该会重新读取（应该也有重试次数，超过后备份不成功）。
 
其实这个原理很简单，了解下doublewrite就可以理解了“本段摘录自《mysql技术内幕：innodb存储引擎》”：
如果说插入缓冲带给innodb存储引擎的是性能，那么两次写带给innodb存储引擎的是数据的可靠性。当数据库宕机时，可能发生数据库正在写一个页面，而这个页只写了一部分（比如16k的页，只写前4k的页）的情况，我们称之为部分写失效（partial page write）。在innodb存储引擎未使用double write技术前，曾出现过因为部分写失效而导致数据丢失的情况。
 
有人也许会想，如果发生写失效，可以通过重做日志进行恢复。这是一个办法。但是必须清楚的是，重做日志中记录的是对页的物理操作，如偏移量800，写“aaaa”记录。如果这个页本身已经损坏，再对其进行重做是没有意义的。这就是说，在应用（apply）重做日志前，我们需要一个页的副本，当写入失效发生时，先通过页的副本来还原该页，再进行重做，这就是doublewrite。

一、下载和安装
xtrabackup现在最新版本为2.1.5，官方也提供了2.0的版本可供下载，官方链接地址：http://www.percona.com/software/percona-xtrabackup；可以下载源码编译安装，也可以下载适合的rpm包或使用yum进行安装。由于没有需要特殊定制的，因此建议直接使用rpm安装即可。

安装方法一：
下载rpm安装包：

wget http://www.percona.com/downloads/xtrabackup/latest/rpm/rhel6/x86_64/percona-xtrabackup-2.1.5-680.rhel6.x86_64.rpm

安装依赖：

[root@localhost ~]# yum install -y perl-dbd-mysql perl-dbi perl-time-hires libaio*

安装：

[root@localhost ~]# rpm -ivh percona-xtrabackup-2.1.5-680.rhel6.x86_64.rpm 

preparing...           ########################################### [100%] 
1:percona-xtrabackup   ########################################### [100%]

安装方法二：
安装percona源：

[root@localhost ~]# rpm -uhv http://www.percona.com/downloads/percona-release/percona-release-0.0-1.x86_64.rpm

使用yum安装percona-xtrabackup：

[root@localhost ~]# yum -y install percona-xtrabackup

查看安装结果：

[root@localhost ~]# rpm -qa |grep xtrabackup 

percona-xtrabackup-2.1.5-680.rhel6.x86_64 

[root@localhost ~]# rpm -ql percona-xtrabackup-2.1.5-680.rhel6.x86_64 

/usr/bin/innobackupex 
/usr/bin/innobackupex-1.5.1 
/usr/bin/xbcrypt 
/usr/bin/xbstream 
/usr/bin/xtrabackup 
/usr/bin/xtrabackup_55 
/usr/bin/xtrabackup_56 
/usr/share/doc/percona-xtrabackup-2.1.5 
/usr/share/doc/percona-xtrabackup-2.1.5/copying

xtrabackup中主要包含两个工具：
xtrabackup：是用于热备份innodb, xtradb表中数据的工具，不能备份其他类型的表，也不能备份数据表结构；

innobackupex：是将xtrabackup进行封装的perl脚本，提供了备份myisam表的能力。

二、备份脚本

#!/bin/sh
#===================================================================================================
## 备份工具：
##  percona-xtrabackup-2.2.6
##
## 备份策略：
##  (1)、每天凌晨04:20点进行全量备份一次；
##  (2)、每隔1小时增量备份一次；
##
#===================================================================================================
path=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin
 
## db备份基路径
backup_base_dir="/data/mysql_backup"
 
## 增量备份时，用到的基准目录列表文件
## 内容格式：基准目录|本次备份目录|备份类型【full|inc】
inc_base_list="${backup_base_dir}/incremental_basedir_list.txt"
 
## 备份工具路径
xtrabackup_path="/usr/local/xtrabackup/bin/innobackupex"
 
## mysql配置路径
mysql_cnf_path="/etc/my.cnf"
 
## 线程数
thread_cnt=6
 
#===================================================================================================
function print_help_info()
{
  echo "--------------------------------------------------------------"
  echo "usage: $0 full | inc | help"
  echo "--------------------------------------------------------------"
  echo ""
  exit 1
}
 
[[ $# -lt 1 ]] && print_help_info
[[ -d ${backup_base_dir} ]] || mkdir -p ${backup_base_dir}
 
## xtrabackup基础套件不存在时，进行自动下载安装
if [[ ! -e ${xtrabackup_path} ]]; then
  cd /usr/local
  wget -q -o xtrabackup-2.2.6.tgz http://www.percona.com/redir/downloads/xtrabackup/latest/binary/tarball/percona-xtrabackup-2.2.6-5042-linux-x86_64.tar.gz
  tar xvzf xtrabackup-2.2.6.tgz >/dev/null 2>&1 && rm -f xtrabackup-2.2.6.tgz
  mv percona-xtrabackup-2.2.6-linux-x86_64 xtrabackup-2.2.6
  rm -rf xtrabackup && ln -s xtrabackup-2.2.6 xtrabackup
   
  for fname in `ls -1t /usr/local/xtrabackup/bin`
  do
    rm -f /usr/bin/${fname} && ln -s /usr/local/xtrabackup/bin/${fname} /usr/bin/${fname}
  done
fi
 
## 只允许一个副本运行，以避免全量备份与增量备份出现交叉，发生数据错乱的可能性
##[[ -n `ps uax | grep innobackupex | grep -v grep` ]] && exit 1
 
## 目录名默认精确到分钟，为避免意外情况，导致备份任务失败，可以精确到秒
current_bak_path="${backup_base_dir}/"`date +%f_%h-%m`
[[ -d ${current_bak_path} ]] && current_bak_path="${backup_base_dir}/"`date +%f_%h-%m-%s`
 
#===================================================================================================
## 全量备份
if [[ "$1" == "full" ]]; then
  ${xtrabackup_path} --user=root --defaults-file=${mysql_cnf_path} --parallel=${thread_cnt} --no-timestamp ${current_bak_path}
  echo "null|${current_bak_path}|full" >> ${inc_base_list}
 
## 增量备份
elif [[ "$1" == "inc" ]]; then
  ## 基准目录列表文件不存在或者为空的情况，需要做一次全量备份
  if [[ ! -f ${inc_base_list} || `sed '/^$/d' ${inc_base_list} | wc -l` -eq 0 ]]; then
    ${xtrabackup_path} --user=root --defaults-file=${mysql_cnf_path} --parallel=${thread_cnt} --no-timestamp ${current_bak_path}
    echo "null|${current_bak_path}|full" >> ${inc_base_list}
   
  ## 不存在任何目录的情况，需要做一次全量备份，以避免增量备份失败
  elif [[ `find ${backup_base_dir} -maxdepth 1 -type d | wc -l` -eq 1 ]]; then
    ${xtrabackup_path} --user=root --defaults-file=${mysql_cnf_path} --parallel=${thread_cnt} --no-timestamp ${current_bak_path}
    echo "null|${current_bak_path}|full" >> ${inc_base_list}
   
  ## 在上一次备份的基础上，进行增量备份
  else
    prev_backup_dir=`sed '/^$/d' ${inc_base_list} | tail -1 | awk -f '|' '{print $2}'`
    ## 上次的备份目录不存在或者目录为空的情况，以避免人为删除的可能性【针对部分恶意删除的情况，目前还没有较好的检查方法】
    if [[ ! -d ${prev_backup_dir} || -z `ls ${prev_backup_dir}` ]]; then
      ${xtrabackup_path} --user=root --defaults-file=${mysql_cnf_path} --parallel=${thread_cnt} --no-timestamp ${current_bak_path}
      echo "null|${current_bak_path}|full" >> ${inc_base_list}
    else
      ${xtrabackup_path} --user=root --defaults-file=${mysql_cnf_path} --parallel=${thread_cnt} --no-timestamp --incremental ${current_bak_path} --incremental-basedir=${prev_backup_dir}
      echo "${prev_backup_dir}|${current_bak_path}|inc" >> ${inc_base_list}
    fi
  fi
 
elif [[ "$1" == "help" ]]; then
  print_help_info
 
else
  print_help_info
fi
 
## 删除2周前的数据备份
rm -rf ${backup_base_dir}/`date -d '14 days ago' +'%f'`_*
sed -i "/`date -d '14 days ago' +'%f'`/d" ${inc_base_list}
 
#===================================================================================================
##the end
 
####################################################################################################
## 需要添加的crontab信息：
##   (1)、全量备份
##   20 04 * * * /data/scripts/mysql_backup.sh full >/dev/null 2>&1
##
##   (2)、增量备份
##   00 * * * * /data/scripts/mysql_backup.sh inc >/dev/null 2>&1
##
####################################################################################################
 
####################################################################################################
## db数据恢复步骤：
##  (1)、应用基准
##  innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8g --apply-log --redo-only /data/mysql_backup/full
##
##  (2)、应用第一个增量备份
##  innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8g --apply-log --redo-only /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_one
##
##  (3)、应用第二个增量备份
##  innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8g --apply-log /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_two
##
##  (4)、再次应用基准
##  innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8g --apply-log /data/mysql_backup/full
##
##  (5)、恢复
##  innobackupex --user=root --defaults-file=/etc/my.cnf --copy-back /data/mysql_backup/full
####################################################################################################

三、效果展示