Rsync
程序员文章站
2022-05-09 11:47:12
[toc] Rsync 1. Rsync基本概述 rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步,支持本地复制,或者与其他SSH、rsync主机同步。 常见备份方式 常见备份组合: 完全+增量:1次完全+多次增量\ 完全+差异:1次完全+1次差 ......
rsync
1. rsync基本概述
rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具remote sync可以远程同步,支持本地复制,或者与其他ssh、rsync主机同步。
常见备份方式
完全备份:对所有数据做一次全备份\ 增量备份:只备份上一次备份之后变化的数据*****\ 差异备份:备份是上一次完全备份后变化的数据\
-
常见备份组合:
完全+增量:1次完全+多次增量 完全+差异:1次完全+1次差异
2.rsync应用场景
- [ ] 数据同步的方式
-
推:push,上传(upload)
将客户端的数据上传到rsync服务段(backup服务器)
-
拉:pull,下载(download)
将rsync服务端(backup服务器)的数据下载到客户端
==推拉是由客户端发起的==
3.rsync传输模式
rsync大致使用三种主要的数据传输方式
rsync命令对应选项
-a #归档模式传输, 等于-tropgdl -v #详细模式输出, 打印速率, 文件数量等 -z #传输时进行压缩以提高效率 -r #递归传输目录及子目录,即目录下得所有目录都同样传输。 -t #保持文件时间信息 -o #保持文件属主信息 -p #保持文件权限 -g #保持文件属组信息 -l #保留软连接 -p #显示同步的过程及传输时的进度等信息 -d #保持设备文件信息 -l #保留软连接指向的目标文件 -e #使用的信道协议,指定替代rsh的shell程序 --exclude=pattern #指定排除不需要传输的文件模式 --exclude-from=file #文件名所在的目录文件 --bwlimit=100 #限速传输 --partial #断点续传 --delete #让目标目录和源目录数据保持一致
本地方式
rsync [option...] src... [dest]
类似cp命令
文件同步
[root@backup ~]# rsync -avz /etc/fstab /data/ sending incremental file list fstab
目录同步1:
[root@backup ~]# rsync -avz /data/ /opt/ sending incremental file list ./ fstab passwd
目录同步2:
[root@backup ~]# rsync -avz /data /opt/ sending incremental file list data/ data/fstab data/passwd
总结: 如果要同步的是目录里面的内容,命令中目录的后面必须要加"/"; 如果要同步的是目录本身及其内容,则命令中只需写目录名。
完全同步:加--delete,源和目标内容完全一致
[root@backup ~]# rsync -avz /null/ /opt/ --delete #慎用
远程方式
access via remote shell: 远程通道传输 pull: rsync [option...] [user@]host:src... [dest] push: rsync [option...] src... [user@]host:dest 使用的ssh协议,过程是加密,类似scp命令(secure cp) tcp传输过程,没传输一个数据都会有连接的建立、维护、断开过程。 [root@backup ~]# rsync -avz /etc/hosts root@172.16.1.31:/etc/ [root@backup ~]# rsync -avz root@172.16.1.31:/root/hello.txt . 问题: 1.用户权限问题 [root@oldboy ~]# rsync -avz oldboy@172.16.1.41:/root/hello.txt /tmp/ receiving incremental file list rsync: change_dir "/root" failed: permission denied (13) 2.用户身份暴露了,安全隐患 3.文件路径暴露了,安全隐患
守护进程
rsync自身非常重要的功能(不使用系统用户,更加安全)
服务器的配置流程:
- [ ] 1.安装软件包
yum install -y rsync
- [ ] 2.修改配置文件
1)查找配置文件 [root@oldboy ~]# rpm -qc rsync /etc/rsyncd.conf /etc/sysconfig/rsyncd [root@oldboy ~]# rpm -ql rsync | grep etc /etc/rsyncd.conf /etc/sysconfig/rsyncd 2)修改配置文件 [root@backup ~]# vim /etc/rsyncd.conf # 全局模块 uid = rsync --- 运行进程的用户 gid = rsync --- 运行进程的用户组 port = 873 --- 监听端口 fake super = yes --- 无需让rsync以root身份运行,允许存储文件的完整属性(3.1版本之后) use chroot = no --- 关闭假根功能 max connections = 200 --- 最大连接数 timeout = 600 --- 超时时间 ignore errors --- 忽略错误信息 read only = false --- 对备份数据可读写 list = false --- 不允许查看模块信息 auth users = rsync_backup --- 定义虚拟用户,作为连接认证用户 secrets file = /etc/rsync.passwd ---定义rsync服务用户连接认证密码文件路径 ##局部模块 [backup] --- 定义模块信息 comment = commit --- 模块注释信息 path = /backup --- 定义接收备份数据目录
- [ ] 3.创建程序用户
useradd -m -s /sbin/nologin rsync
- [ ] 4.创建目录,并修改所属
mkdir [-p] /backup chown -r rsync.rsync /backup
- [ ] 5.创建虚拟用户认证文件
echo "rsync_backup:1" >/etc/rsync.password chmod 600 /etc/rsync.password
- [ ] 6.启动服务
systemctl start rsyncd systemctl enable rsyncd
注意:一定要查看是否启动成功
[root@oldboy ~]# systemctl status rsyncd ● rsyncd.service - fast remote file copy program daemon loaded: loaded (/usr/lib/systemd/system/rsyncd.service; enabled; vendor preset: disabled) active: active (running) since 四 2018-09-27 11:18:52 cst; 37s ago [root@oldboy ~]# lsof -i:873 command pid user fd type device size/off node name rsync 4187 root 3u ipv4 44003 0t0 tcp *:rsync (listen) rsync 4187 root 5u ipv6 44004 0t0 tcp *:rsync (listen) [root@oldboy ~]# ss -antp | grep rsync listen 0 5 *:873 *:* users:(("rsync",pid=4187,fd=3)) listen 0 5 :::873 :::* users:(("rsync",pid=4187,fd=5)) [root@oldboy ~]# netstat -antp | grep rsync tcp 0 0 0.0.0.0:873 0.0.0.0:* listen 4187/rsync tcp6 0 0 :::873 :::* listen 4187/rsync
客户端验证过程:
- [ ] 1.安装rsync包
yum install -y rsync
- [ ] 2.验证
access via rsync daemon: 守护进程方式传输 pull: rsync [option...] [user@]host::src... [dest] push: rsync [option...] src... [user@]host::dest
- 1)推:上传 客户端推送/etc/下所有内容至rsync服务端:
[root@nfs ~]# rsync -avz /etc/ rsync_backup@172.16.1.41::backup
- 2)拉:下载 在服务端创建下拉文件
[root@backup ~]# cp /etc/passwd /etc/fstab /etc/hosts /backup/ 客户端从服务端将backup模块下的内容拉到本地 [root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup/ /tmp/
[ ] 3.免密
- 方法一:在客户端上创建密码文件,并给600的权限
[root@nfs ~]# echo "1" > /etc/rsync.password [roonfsfs ~]# chmod 600 /etc/rsync.password [root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup/ /tmp/ --password-file=/etc/rsync.password
- 方法二:定义变量
[rnfs@nfs ~]# export rsync_password=1 [root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup/ /tmp/
4.rsync服务实践
排除注意: 1.客户端使用rsync报错信息:auth failed on module backup 查看服务器端/var/log/messages 1)sep 27 12:12:52 backup rsyncd[1385]: secrets file must not be other-accessible (see strict modes option) 表示权限的问题。 解决方法:chmod 600 /etc/rsync.password 2)…… 2.需要考虑服务端下拉的文件权限,主要是读权限 root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup/ /tmp/ password: receiving incremental file list rsync: failed to read xattr user.rsync.%stat for "messages" (in backup): permission denied (13) rsync: failed to read xattr user.rsync.%stat for "secure" (in backup): permission denied (13) ./ rsync: send_files failed to open "messages" (in backup): permission denied (13) rsync: send_files failed to open "secure" (in backup): permission denied (13)