MySQL物理备份 lvm-snapshot
程序员文章站
2022-05-14 16:01:10
MySQL备份之 lvm-snapshot lvm-snapshot(工具备份) 优点: 几乎是热备(穿件快照前把表上锁,创建完成后立即释放) 支持所有引擎 备份速度快 无需使用昂贵的商业软件(它是操作系统级别的) 缺点: 可能需要跨部门协作(使用操作系统级别的命令,DBA一般没有权限) 无法预计服 ......
mysql备份之 lvm-snapshot
lvm-snapshot(工具备份)
优点:
- 几乎是热备(穿件快照前把表上锁,创建完成后立即释放)
- 支持所有引擎
- 备份速度快
- 无需使用昂贵的商业软件(它是操作系统级别的)
缺点:
- 可能需要跨部门协作(使用操作系统级别的命令,dba一般没有权限)
- 无法预计服务停止时间
- 数据如果分布在多个卷上比较麻烦(针对存储级别而言)
逻辑卷快照的原理
为什么选择lvm快照备份?
原因:因为锁表的时间不一致,在锁表的瞬间是不能写入的,对其进行快照备份,备份完成后立即解锁,然后服务可以正常使用(写入等操作)比如数据量大的时候,做快照一下子就拍了,然后立即解锁,就不影响写入等操作。如果用mysqldump备份,那么数据量大的时候,锁表时间长,就会影响效率。
操作流程
1、flush table with read locak; 2、create snapshot 3、show master status; show slave status; [可选] 4、unlock tables; 5、copy files from the snapshot 6、unmount the snapshot. 7、remove snapshot
快照备份: 1.迁移数据到逻辑卷(不是必须,视情况而定) 2.锁表(时间) 3.给数据库所在的逻辑卷拍快照 4.解锁 5.将快照挂载到临时挂载点上 6.将快照上的所有数据拷贝到相应的备份目录里(不同主机) 7.卸载快照并删除
lvm备份示例
一、数据迁移到逻辑卷上
环境:数据文件不在逻辑卷上,那么需要将数据文件迁移到逻辑卷上
- 1、创建一个逻辑卷
[root@admin ~]# pvcreate /dev/sdb [root@admin ~]# vgcreate vg01 /dev/sdb [root@admin ~]# lvcreate -n lv_mysql -l 4g vg01 [root@admin ~]# mkfs.ext4 /dev/mapper/vg01-lv_mysql
- 2、将当前的mysql数据库迁移到逻辑卷上
1>先停止应用 2>停止mysql服务 [root@admin ~]# service mysqld stop 3>备份所有的数据文件到指定的地方 [root@admin ~]# tar -czvf /tmp/backmysql/mysql.tar.gz /data/db/* 4>挂载逻辑卷到当前mysql的数据目录里 [root@admin ~]# mount /dev/mapper/vg01-lv_mysql /data/db/ 5>将刚刚备份的数据解压到数据目录里 [root@admin ~]# tar xf /tmp/backmysql/mysql.tar.gz -c /data/db/ [root@admin ~]# mv /data/db/data/db/* /data/db/ && rm -rf /data/db/data/ 6>启动数据库 [root@admin ~]# service mysqld start 此处启动失败原因/data/db/数据目录的权限变成了root, 更改权限重新启动 [root@admin ~]# chown mysql. -r /data/db/ && service mysqld start
二、快照备份数据库
- 1、给数据库加读锁
mysql> flush table with read lock;
- 2、给mysql的数据库所在的逻辑卷创建快照
[root@admin ~]# lvcreate -n lv_mysql_s -l 50m -s /dev/vg01/lv_mysql [root@admin ~]# dmsetup --tree ls vg01-lv_mysql (253:0) └─vg01-lv_mysql-real (253:1) └─ (8:16) vg01-lv_mysql_s (253:3) ├─vg01-lv_mysql_s-cow (253:2) │ └─ (8:16) └─vg01-lv_mysql-real (253:1) └─ (8:16)
- 3、解锁数据库
[root@admin ~]# unlock tables
-
上面1~3步可以合并为一步
[root@admin ~]# echo "flush tables with read lock; system lvcreate -n lv_mysql_s -l 50m -s /dev/vg01/lv_mysql;unlock tables;" |mysql -p123
- 4、将快照挂载到临时目录里
[root@admin ~]# mkdir /mnt/mysql && mount /dev/vg01/lv_mysql_s /mnt/mysql/
- 5、备份数据
[root@admin ~]# ls /mnt/mysql/ # 可以看到新的挂载目录里面的数据 admin.pid db01 ib_logfile0 mysql mysql-bin.000003 mysql-bin.000006 mysql-bin.000009 performance_schema auto.cnf db02 ib_logfile1 mysql-bin.000001 mysql-bin.000004 mysql-bin.000007 mysql-bin.000010 test binlog ibdata1 login mysql-bin.000002 mysql-bin.000005 mysql-bin.000008 mysql-bin.index [root@admin ~]# mkdir /backup && rsync -av /mnt/mysql /backup
- 6、卸载快照并删除
[root@admin ~]# umount /mnt/mysql/ && lvremove /dev/vg01/lv_mysql_s
- 7、测试验证(将数据目录里面的东西全部删除)然后再将备份的数据目录恢复过来
1>我们来点狠的,直接把mysql的数据目录/data/db/删除。 [root@admin ~]# rm -rf /data/db/* && ls /data/db/ 2>删除后可以看到重启mysql直接报错了 [root@admin ~]# service mysqld restart mysql server pid file could not be found! [失败] starting mysql...the server quit without updating pid file [失败]/db/admin.pid). 3>根据上面的/backup里面备份的数据进行恢复 [root@admin ~]# mv /backup/mysql/* /data/db/ [root@admin ~]# ls /data/db/ auto.cnf db02 ib_logfile1 mysql-bin.000001 mysql-bin.000004 mysql-bin.000007 mysql-bin.000010 test binlog ibdata1 login mysql-bin.000002 mysql-bin.000005 mysql-bin.000008 mysql-bin.index db01 ib_logfile0 mysql mysql-bin.000003 mysql-bin.000006 mysql-bin.000009 performance_schema 4>重新启动 [root@admin ~]# chown mysql. /data/db/ -r [root@admin ~]# service mysqld restart 这里权限更改了如果启动还是报错的话,查看下是否mysql进程还存在,如果存在,将其kill掉再重启就ok [root@admin ~]# mysql -p123 mysql> show databases; +--------------------+ | database | +--------------------+ | information_schema | | binlog | | db01 | | db02 | | login | | mysql | | performance_schema | | test | +--------------------+ 8 rows in set (0.00 sec)
将上面备份整理为脚本 + crontab 计划任务定时完成备份
#!/bin/bash #lvm backmysql back_dir=/backup/`date +%f` [ -d $back_dir ] mkdir -p $back_dir echo "flush tables with read lock; system lvcreate -n lv_mysql_s -l 50m -s /dev/vg01/lv_mysql;unlock tables;" |mysql -p123 mount /dev/vg01/lv_mysql_s /mnt/mysql/ rsync -a /mnt/mysql/ $back_dir if [ $? -eq 0 ];then umount /mnt/mysql/ && lvremove -f /dev/vg01/lv_mysql_s fi
自动化实现快照备份mylvmbackup
1、安装相应的软件
2、两种备份方式
1>mylvmbackup xxx终端备份
2>修改配置文件指定相应的参数
正常安装mysql: 1. 安装系统 2. 准备lvm,例如 /dev/vg_back/lv-mysql,mount /usr/local/mysql 3. 源码安装mysql到 /usr/local/mysql 可选操作: 将现在的数据迁移到lvm 1. 准备lvm及文件系统 # lvcreate -l 2g -n lv-mysql vg_back # mkfs.ext4 /dev/vg_back/lv-mysql 2. 将数据迁移到lvm # service mysqld stop # mount /dev/vg_back/lv-mysql /u01/ //临时挂载点 # rsync -va /usr/local/mysql/ /u01/ //将mysql原数据镜像到临时挂载点 # umount /u01/ # mount /dev/vg_back/lv-mysql /usr/local/mysql //加入fstab开机挂载 # df -th /dev/mapper/vg_back-lv-mysql ext4 2.0g 274m 1.7g 15% /usr/local/mysql # service mysqld start 手动基于lvm快照实现备份: 1. 加锁 mysql> flush table with read lock; 2.创建快照 # lvcreate -l 500m -s -n lv-mysql-snap /dev/vg_back/lv-mysql # mysql -uroot -p123 -e 'show master status' > /backup/`date +%f`_position.txt 或者 mysql> show master status; +-------------------+----------+--------------+------------------+-------------------+ | file | position | binlog_do_db | binlog_ignore_db | executed_gtid_set | +-------------------+----------+--------------+------------------+-------------------+ | mysqld-bin.00003 | 135 | | | | +-------------------+----------+--------------+------------------+-------------------+ 3. 释放锁 mysql> unlock tables; 4. 从快照中备份 # mount -o ro /dev/vg_back/lv-mysql-snap /u01/ # mkdir /backup/`date +%f` # rsync -a /u01/ /backup/2015-07-02/ 5. 移除快照 # umount /u01/ # lvremove -f /dev/vg_back/lv-mysql-snap 脚本 + cron完成: #!/bin/bash #lvm backmysql... back_dir=/backup/`date +%f` [ -d $back_dir ] || mkdir -p $back_dir mysql -uroot -p123 -e 'flush table with read lock' lvcreate -l 500m -s -n lv-mysql-snap /dev/vg_back/lv-mysql mysql -uroot -p123 -e 'show master status' |grep mysql > $back_dir/position.txt mysql -uroot -p123 -e 'flush logs' mysql -uroot -p123 -e 'unlock tables' mount -o ro /dev/vg_back/lv-mysql-snap /u01 rsync -a /u01/ $back_dir if [ $? -eq 0 ];then umount /u01/ lvremove -f /dev/vg_back/lv-mysql-snap fi =============================================================== mylvmbackup 功能:利用lvm快照实现物理备份,即lvm快照备份的自动版 安装perl模块 1. 在线安装 http://www.lenzg.net/mylvmbackup 它依赖于perl 模块,可用以下命令安装 perl -mcpan -e 'install config::inifiles' 2. 离线安装 # rpm -ivh mylvmbackup-0.16-0.noarch.rpm warning: mylvmbackup-0.16-0.noarch.rpm: header v4 dsa/sha1 signature, key id b27291f2: nokey error: failed dependencies: perl(config::inifiles) is needed by mylvmbackup-0.16-0.noarch perl(date::format) is needed by mylvmbackup-0.16-0.noarch perl(file::copy::recursive) is needed by mylvmbackup-0.16-0.noarch 解决: # yum -y localinstall atrpms-77-1.noarch.rpm perl-file-copy-recursive-0.38-1.el6.rfx.noarch.rpm perl-io-stringy-2.110-1.2.el6.rfx.noarch.rpm perl-config-inifiles-2.56-1.el6.rf.noarch.rpm 安装mylvmbackup软件包 # yum -y install mylvmbackup-0.15-0.noarch.rpm 解决依赖关系perl-timedate 备份方法一: # mylvmbackup --user=root --password=123 --host=localhost --mycnf=/etc/my.cnf --vgname=vg_back --lvname=lv-mysql --backuptype=tar --lvsize=100m --backupdir=/backup # tar xf backup-20140903_000236_mysql.tar.gz # ls backup backup-cnf-20150702_000236_mysql backup-20150702_000236_mysql.tar.gz backup-pos 备份方法二: # vim /etc/mylvmbackup.conf [mysql] #连接数据库配置 user=root password=123456 host=localhost port=3306 socket=/tmp/mysql.sock mycnf=/etc/my.cnf [lvm] #lvm逻辑卷的配置 vgname=vg_server #卷组名称 lvname=lv_mysql #逻辑卷名称 backuplv=mysql_snap #快照卷名称 lvsize=500m [fs] #文件系统配置 xfs=0 mountdir=/var/tmp/mylvmbackup/mnt/ #挂载目录 backupdir=/backup #备份目录,也可以备份到行程主机 [misc] #定义备份选项 backuptype=tar #定义备份的类型 backupretention=0 prefix=backup #定义备份文件名前缀 suffix=_mysql #定义备份文件名后缀 tararg=cvf #定义tar参数,默认为cvf tarfilesuffix=.tar.gz #定义备份文件后缀名格式 datefmt=%y%m%d_%h%m%s #定义备份文件名时间戳格式 keep_snapshot=0 #是否保留snaphot keep_mount=0 #是否卸载snaphot quiet=0 #定义记录日志类型 注释:其他配置保持输入即可 然后直接执行mylvmbackup即可
上一篇: 追《香蜜》入魔了