MySQL物理备份 lvm-snapshot

mysql备份之 lvm-snapshot

lvm-snapshot（工具备份）

优点：

• 几乎是热备（穿件快照前把表上锁，创建完成后立即释放）
• 支持所有引擎
• 备份速度快
• 无需使用昂贵的商业软件（它是操作系统级别的）

缺点：

• 可能需要跨部门协作（使用操作系统级别的命令，dba一般没有权限）
• 无法预计服务停止时间
• 数据如果分布在多个卷上比较麻烦（针对存储级别而言）

逻辑卷快照的原理

为什么选择lvm快照备份？

原因：因为锁表的时间不一致，在锁表的瞬间是不能写入的，对其进行快照备份，备份完成后立即解锁，然后服务可以正常使用（写入等操作）比如数据量大的时候，做快照一下子就拍了，然后立即解锁，就不影响写入等操作。如果用mysqldump备份，那么数据量大的时候，锁表时间长，就会影响效率。

操作流程

1、flush table with read locak;   
2、create snapshot  
3、show master status;　show slave status; [可选]
4、unlock tables;
5、copy files from the snapshot
6、unmount the snapshot. 
7、remove snapshot

快照备份：
1.迁移数据到逻辑卷（不是必须，视情况而定）
2.锁表（时间）
3.给数据库所在的逻辑卷拍快照
4.解锁
5.将快照挂载到临时挂载点上
6.将快照上的所有数据拷贝到相应的备份目录里（不同主机）
7.卸载快照并删除

 

 lvm备份示例

一、数据迁移到逻辑卷上

 环境：数据文件不在逻辑卷上，那么需要将数据文件迁移到逻辑卷上

• 1、创建一个逻辑卷

  [root@admin ~]# pvcreate /dev/sdb
  [root@admin ~]# vgcreate vg01 /dev/sdb
  [root@admin ~]# lvcreate -n lv_mysql -l 4g vg01
  [root@admin ~]# mkfs.ext4 /dev/mapper/vg01-lv_mysql 

• 2、将当前的mysql数据库迁移到逻辑卷上

      1>先停止应用
      2>停止mysql服务
      [root@admin ~]# service mysqld stop
      3>备份所有的数据文件到指定的地方
      [root@admin ~]# tar -czvf /tmp/backmysql/mysql.tar.gz /data/db/*
      4>挂载逻辑卷到当前mysql的数据目录里
      [root@admin ~]# mount /dev/mapper/vg01-lv_mysql /data/db/
      5>将刚刚备份的数据解压到数据目录里
      [root@admin ~]# tar xf /tmp/backmysql/mysql.tar.gz -c /data/db/
      [root@admin ~]# mv /data/db/data/db/* /data/db/ && rm -rf /data/db/data/
      6>启动数据库
      [root@admin ~]# service mysqld start
      此处启动失败原因/data/db/数据目录的权限变成了root，
      更改权限重新启动
      [root@admin ~]# chown mysql. -r /data/db/ && service mysqld start

 二、快照备份数据库

•  1、给数据库加读锁

  mysql> flush table with read lock; 

• 2、给mysql的数据库所在的逻辑卷创建快照

  [root@admin ~]# lvcreate -n lv_mysql_s -l 50m -s /dev/vg01/lv_mysql
  [root@admin ~]# dmsetup --tree ls
  vg01-lv_mysql (253:0)
   └─vg01-lv_mysql-real (253:1)
      └─ (8:16)
  vg01-lv_mysql_s (253:3)
   ├─vg01-lv_mysql_s-cow (253:2)
   │  └─ (8:16)
   └─vg01-lv_mysql-real (253:1)
      └─ (8:16)

• 3、解锁数据库

  [root@admin ~]# unlock tables

• 上面1~3步可以合并为一步

  [root@admin ~]# echo "flush tables with read lock; system lvcreate -n lv_mysql_s -l 50m -s /dev/vg01/lv_mysql;unlock tables;" |mysql -p123

• 4、将快照挂载到临时目录里

  [root@admin ~]# mkdir /mnt/mysql && mount /dev/vg01/lv_mysql_s /mnt/mysql/

• 5、备份数据

  [root@admin ~]# ls /mnt/mysql/    # 可以看到新的挂载目录里面的数据
  admin.pid  db01     ib_logfile0  mysql             mysql-bin.000003  mysql-bin.000006  mysql-bin.000009  performance_schema
  auto.cnf   db02     ib_logfile1  mysql-bin.000001  mysql-bin.000004  mysql-bin.000007  mysql-bin.000010  test
  binlog     ibdata1  login        mysql-bin.000002  mysql-bin.000005  mysql-bin.000008  mysql-bin.index
  [root@admin ~]# mkdir /backup && rsync -av /mnt/mysql /backup

• 6、卸载快照并删除

  [root@admin ~]# umount /mnt/mysql/ && lvremove /dev/vg01/lv_mysql_s

• 7、测试验证（将数据目录里面的东西全部删除）然后再将备份的数据目录恢复过来

      1>我们来点狠的，直接把mysql的数据目录/data/db/删除。
      [root@admin ~]# rm -rf /data/db/* && ls /data/db/
      2>删除后可以看到重启mysql直接报错了
      [root@admin ~]# service mysqld restart 
      mysql server pid file could not be found!                  [失败]
      starting mysql...the server quit without updating pid file [失败]/db/admin.pid).
      3>根据上面的/backup里面备份的数据进行恢复
      [root@admin ~]# mv /backup/mysql/* /data/db/
      [root@admin ~]# ls /data/db/
      auto.cnf  db02         ib_logfile1  mysql-bin.000001  mysql-bin.000004  mysql-bin.000007  mysql-bin.000010    test
      binlog    ibdata1      login        mysql-bin.000002  mysql-bin.000005  mysql-bin.000008  mysql-bin.index
      db01      ib_logfile0  mysql        mysql-bin.000003  mysql-bin.000006  mysql-bin.000009  performance_schema
      4>重新启动
      [root@admin ~]# chown mysql. /data/db/ -r 
      [root@admin ~]# service mysqld restart
      这里权限更改了如果启动还是报错的话，查看下是否mysql进程还存在，如果存在，将其kill掉再重启就ok
      [root@admin ~]# mysql -p123
      mysql> show databases;
      +--------------------+
      | database           |
      +--------------------+
      | information_schema |
      | binlog             |
      | db01               |
      | db02               |
      | login              |
      | mysql              |
      | performance_schema |
      | test               |
      +--------------------+
      8 rows in set (0.00 sec)

 将上面备份整理为脚本 + crontab 计划任务定时完成备份

#!/bin/bash
#lvm backmysql
back_dir=/backup/`date +%f`
[ -d $back_dir ]  mkdir -p $back_dir
echo "flush tables with read lock; system lvcreate -n lv_mysql_s -l 50m -s /dev/vg01/lv_mysql;unlock tables;" |mysql -p123
mount /dev/vg01/lv_mysql_s /mnt/mysql/
rsync -a /mnt/mysql/ $back_dir
if [ $? -eq 0 ];then
    umount /mnt/mysql/ && lvremove -f /dev/vg01/lv_mysql_s
fi

 

自动化实现快照备份mylvmbackup

1、安装相应的软件

2、两种备份方式

　　1>mylvmbackup    xxx终端备份

　　2>修改配置文件指定相应的参数

正常安装mysql：
1. 安装系统
2. 准备lvm，例如 /dev/vg_back/lv-mysql，mount /usr/local/mysql
3. 源码安装mysql到 /usr/local/mysql

可选操作：　将现在的数据迁移到lvm
1. 准备lvm及文件系统
# lvcreate -l 2g -n lv-mysql vg_back
# mkfs.ext4 /dev/vg_back/lv-mysql
 
2. 将数据迁移到lvm
# service mysqld stop
# mount /dev/vg_back/lv-mysql /u01/ //临时挂载点
# rsync -va /usr/local/mysql/ /u01/ //将mysql原数据镜像到临时挂载点

# umount /u01/
# mount /dev/vg_back/lv-mysql /usr/local/mysql //加入fstab开机挂载
# df -th
/dev/mapper/vg_back-lv-mysql ext4 2.0g 274m 1.7g 15% /usr/local/mysql
# service mysqld start

手动基于lvm快照实现备份：
1. 加锁
mysql> flush table with read lock;

2.创建快照
# lvcreate -l 500m -s -n lv-mysql-snap /dev/vg_back/lv-mysql
# mysql -uroot -p123 -e 'show master status' > /backup/`date +%f`_position.txt
或者
mysql> show master status;
+-------------------+----------+--------------+------------------+-------------------+
| file | position | binlog_do_db | binlog_ignore_db | executed_gtid_set |
+-------------------+----------+--------------+------------------+-------------------+
| mysqld-bin.00003 | 135 | | | |
+-------------------+----------+--------------+------------------+-------------------+

3. 释放锁
mysql> unlock tables;

4. 从快照中备份
# mount -o ro /dev/vg_back/lv-mysql-snap /u01/
# mkdir /backup/`date +%f`
# rsync -a /u01/ /backup/2015-07-02/

5. 移除快照
# umount /u01/
# lvremove -f /dev/vg_back/lv-mysql-snap

脚本 + cron完成：
#!/bin/bash
#lvm backmysql...
back_dir=/backup/`date +%f`

[ -d $back_dir ] || mkdir -p $back_dir

mysql -uroot -p123 -e 'flush table with read lock'
lvcreate -l 500m -s -n lv-mysql-snap /dev/vg_back/lv-mysql
mysql -uroot -p123 -e 'show master status' |grep mysql > $back_dir/position.txt
mysql -uroot -p123 -e 'flush logs'
mysql -uroot -p123 -e 'unlock tables'

mount -o ro /dev/vg_back/lv-mysql-snap /u01

rsync -a /u01/ $back_dir

if [ $? -eq 0 ];then
umount /u01/
lvremove -f /dev/vg_back/lv-mysql-snap
fi
===============================================================
mylvmbackup

功能：利用lvm快照实现物理备份，即lvm快照备份的自动版

安装perl模块
1. 在线安装
http://www.lenzg.net/mylvmbackup
它依赖于perl 模块，可用以下命令安装
perl -mcpan -e 'install config::inifiles'

2. 离线安装
# rpm -ivh mylvmbackup-0.16-0.noarch.rpm
warning: mylvmbackup-0.16-0.noarch.rpm: header v4 dsa/sha1 signature, key id b27291f2: nokey
error: failed dependencies:
perl(config::inifiles) is needed by mylvmbackup-0.16-0.noarch
perl(date::format) is needed by mylvmbackup-0.16-0.noarch
perl(file::copy::recursive) is needed by mylvmbackup-0.16-0.noarch

解决：
# yum -y localinstall atrpms-77-1.noarch.rpm perl-file-copy-recursive-0.38-1.el6.rfx.noarch.rpm perl-io-stringy-2.110-1.2.el6.rfx.noarch.rpm perl-config-inifiles-2.56-1.el6.rf.noarch.rpm

安装mylvmbackup软件包
# yum -y install mylvmbackup-0.15-0.noarch.rpm 解决依赖关系perl-timedate

备份方法一：
# mylvmbackup --user=root --password=123 --host=localhost --mycnf=/etc/my.cnf --vgname=vg_back --lvname=lv-mysql --backuptype=tar --lvsize=100m --backupdir=/backup

# tar xf backup-20140903_000236_mysql.tar.gz
# ls
backup backup-cnf-20150702_000236_mysql
backup-20150702_000236_mysql.tar.gz backup-pos

备份方法二：
# vim /etc/mylvmbackup.conf
[mysql] #连接数据库配置
user=root
password=123456
host=localhost
port=3306
socket=/tmp/mysql.sock
mycnf=/etc/my.cnf
[lvm] #lvm逻辑卷的配置
vgname=vg_server #卷组名称
lvname=lv_mysql #逻辑卷名称
backuplv=mysql_snap #快照卷名称
lvsize=500m
[fs] #文件系统配置
xfs=0
mountdir=/var/tmp/mylvmbackup/mnt/ #挂载目录
backupdir=/backup #备份目录，也可以备份到行程主机
[misc] #定义备份选项
backuptype=tar #定义备份的类型
backupretention=0
prefix=backup #定义备份文件名前缀
suffix=_mysql #定义备份文件名后缀
tararg=cvf #定义tar参数，默认为cvf
tarfilesuffix=.tar.gz #定义备份文件后缀名格式
datefmt=%y%m%d_%h%m%s #定义备份文件名时间戳格式
keep_snapshot=0 #是否保留snaphot
keep_mount=0 #是否卸载snaphot
quiet=0 #定义记录日志类型
注释：其他配置保持输入即可

然后直接执行mylvmbackup即可

mylvmbackup 参考示例