Azure上MySQL的离线备份：将备份拷贝到Azure Blob上

公司在azure的iaas虚拟机上部署有好几台mysql数据库，至于没有选择azure database for mysql，是因为预算有限（钱不够啊！说多了也是泪，坑的还是dba自己）。选择了iaas的话，dba就必须考虑离线备份(offline backup)，以预防灾难性故障出现。我们选择将历史数据库备份文件用azcopy同步到azure存储账户的blob存储上面。下面简单的介绍、总结一下如何使用azcopy将xtrabackup备份上传到azure存储账号的blob存储上。

 

linux上的 azcopy简介

 

azcopy是一个命令行实用程序，azcopy是用于向/从 azure blob 和文件存储复制数据的命令行实用程序。可在文件系统和存储帐户之间或在存储帐户之间复制数据。

 

目前它有两个版本的 azcopy 可下载：

 

     azcopy on linux 面向 linux 平台，它提供 posix 样式的命令行选项。 

     azcopy on windows 提供 windows 样式的命令行选项。

 

关于azcopy的介绍，官方文档“使用 linux 上的 azcopy 传输数据”已经有很详细的介绍了，如有什么不清楚的，建议通读这篇文章。

 

之前在linux上安装azcopy，必须首先安装.net core，但是从 azcopy 7.2 版本开始，.net core 依赖项随 azcopy 包打包在一起。 如果使用的是 7.2 版或更高版本，则安装.net core 不再是先决条件。

 

其实这篇文章很早之前就存在我的笔记里面，之前的安装比较麻烦一下（这里将之前的笔记部分全部删除，官方文档也找不到早期azcopy版本的介绍使用了），目前最新现在azcopy v10

 

azcopy v10 中的新增功能

 

·         将文件系统同步到 azure blob 存储，或反之。 使用 azcopy sync <source> <destination>。 非常适合增量复制方案。

·         支持将整个帐户（仅限 blob 服务）复制到另一个帐户。

·         使用新的从 url 放置块 api 来支持帐户到帐户的复制。 无需向客户端传输数据，因此数据传输速度更快。

·         列出或删除给定路径中的文件和 blob。

·         支持在路径中使用通配符模式，并支持 --exclude 标志。

·         使用每个 azcopy 实例创建作业顺序和相关的日志文件。 可以查看和重启以前的作业，以及恢复失败的作业。 azcopy 还会在失败后自动重试传输。

·         提供常规性能改进。

 

 

azcopy的安装配置

 

azcopy不需要安装。只需要解压压缩包，找到对应的azcopy文件就可以使用。 当然，最好将azcopy文件拷贝到系统路径以方便使用。

 

azcopy v8安装

 

# wget -o azcopy.tar.gz https://aka.ms/downloadazcopylinux64

# tar -xzvf azcopy.tar.gz

# cd azcopy/

 

 

azcopy v10安装

 

 

# tar -xf azcopy_linux_amd64_10.2.1.tar.gz

# cd azcopy_linux_amd64_10.2.1/

# mv azcopy /usr/bin/

 

 

 

检查是否安装了azcopy

 

# whereis azcopy

azcopy: /usr/bin/azcopy /usr/lib/azcopy

# locate azcopy

 

 

检查azcopy的版本

 

 

直接输入azcopy命令(之前的azcopy版本没有查看版本的参数， azcopy v10有相关查看版本的参数），如下所示：

 

# azcopy

------------------------------------------------------------------------------

azcopy 7.3.0-netcore copyright (c) 2018 microsoft corp. all rights reserved.

------------------------------------------------------------------------------

# azcopy is designed for high-performance uploading, downloading, and copying

data to and from microsoft azure blob, and file storage.

# command line usage:

    azcopy --source <source> --destination <destination> [options]

# options:

    [--source-key] [--dest-key] [--source-sas] [--dest-sas] [--verbose] [--resume] 

    [--config-file] [--quiet] [--parallel-level] [--source-type] [--dest-type] 

    [--recursive] [--include] [--check-md5] [--dry-run] [--preserve-last-modified-time]

    [--exclude-newer] [--exclude-older] [--sync-copy] [--set-content-type] [--blob-type] 

    [--delimiter] [--include-snapshot] [--block-size-in-mb]

------------------------------------------------------------------------------

for azcopy command-line help, type one of the following commands:

# detailed command-line help for azcopy      ---   azcopy --help

# detailed help for any azcopy option        ---   azcopy --help source-key

# command line samples                       ---   azcopy --help sample

you can learn more about azcopy at http://aka.ms/azcopy.

 

 

如果是azcopy v10，它有提供版本参数--version

 

# azcopy --version

azcopy version 10.2.1

 

 

azcopy的卸载删除

 

其实azcopy不需要安装，所以使用下面命令找到相关文件，直接删除即可

 

# whereis azcopy

azcopy: /usr/bin/azcopy /usr/lib/azcopy

# locate azcopy

# cd /usr/lib

# rm -rf azcopy/

# rm -rf /usr/bin/azcopy

 

 

azcopy使用案例

 

azcopy命令版本很多，不同版本直接的参数和功能也有差异，这里不打算一一介绍了，毕竟官方文档也有较详细的介绍(好像之前azcopy v7的版本相关文档已经搜索不到了）

 

azcopy v8

https://docs.azure.cn/zh-cn/storage/common/storage-use-azcopy-linux?toc=%2fstorage%2fblobs%2ftoc.json

 

azcopy v10

https://docs.azure.cn/zh-cn/storage/common/storage-use-azcopy-v10?toc=%2fstorage%2fblobs%2ftoc.json

https://github.com/microsoftdocs/azure-docs.zh-cn/blob/master/articles/storage/common/storage-use-azcopy-v10.md

 

这里仅仅介绍一两个简单例子，如下所示（azcopy v7）：

 

azcopy \

     --source  /mysql/mysql_backup/2018-10-11 \

     --destination https://xxxxx.blob.core.chinacloudapi.cn/xxxxx/ \

     --dest-key enslagoowwaj9zfnwytvmqqhonjoakh88o5fzvxc8f1wt+aehf1ekf/zoqsvhh54iobffhyxspracop4odbzyq== \

     --recursive

 

测试传输速度。

 

 

同步：增量复制和删除（仅适用于 blob 存储）

 

.\azcopy sync "c:\local\path" "https://account.blob.core.chinacloudapi.cn/mycontainer<sastoken>" --recursive=true

 

这里的sastoken是什么呢？ 去你的存储账号，在“共享访问签名“哪里， 点击”生成sas和连接字符串“，就会生成"sas令牌"

 

 

 

 

 

azcopy sync "/mysql/mysql_backup/db_backup" "https://xxxx.blob.core.chinacloudapi.cn/xxxx?sv=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx" --recursive=true

 

 

当然最终还是要配置成crontab作业，所以将上面命令放在shell脚本中，并且将azcopy命令的输出写入到日志，配上邮件发送，基本上就完成了。

 

 

 

 

参考资料：

 

https://docs.azure.cn/zh-cn/storage/common/storage-use-azcopy-linux

http://www.178linux.com/84550

https://github.com/microsoftdocs/azure-docs.zh-cn/blob/master/articles/storage/common/storage-use-azcopy-v10.md