rsync服务

它能同步更新2处计算机的文件和目录,第一次传输的时候会全部拷贝,第二次的时候只会拷贝有差异的文件,

在daemon mode下,默认监听873端,传统的cp和ssh等命令拷贝都有局限性,不能实现增量备份,rsync是基于c/s架构的,而且还在传输过程中进行压缩和解压缩

特点:

• 可以镜像保存文件和目录
• 可以保留权限,链接等原来文件的属性
• 快速安装
• 传输速率高,而且支持ssh和匿名传输

rsync安装

yum -y install rsync源码安装tar -xvf rsync-3.1.1.tar.gzcd rsync-3.1.1./configuremake & make install

syntax

-v, --verbose 详细模式输出-q, --quiet 精简输出模式-c, --checksum 打开校验开关，强制对文件传输进行校验-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD-r, --recursive 对子目录以递归模式处理-R, --relative 使用相对路径信息-b, --backup 创建备份，也就是对于目标已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。   --backup-dir=DIR 将备份文件(如~filename)存放在哪个目录下。   --suffix=SUFFIX 定义备份文件前缀-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)-l, --links 保留软链结-L, --copy-links 像对待常规文件一样处理软链结   --copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结   --safe-links 忽略指向SRC路径目录树以内的链结-H, --hard-links 保留硬链结-p, --perms 保持文件权限-o, --owner 保持文件属主信息-g, --group 保持文件属组信息-D, --devices 保持设备文件和特殊文件信息-t, --times 保持文件时间信息-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间-n, --dry-run显示哪些文件将被传输-W, --whole-file 拷贝文件，不进行增量检测-X：保留文件的扩展属性（SUID/SGID/SBIT）-A:保留文件的ACL属性信息。-x, --one-file-system 不要跨越文件系统边界-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节-e：指定使用rsh、ssh方式进行数据同步，默认为ssh    --rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件--delete 删除那些DST中有而SRC中没有的文件，删除的是DST中的文件，是以SRC为基准的。--delete-excluded 同样删除接收端那些被该选项指定排除的文件--delete-after 传输结束以后再删除--ignore-errors 即使出现IO错误也进行删除--max-delete=NUM 最多删除NUM个文件--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输，支持断点续传。--min-size：传输文件的最小大小。单位是K/M/G--max-size：传输文件的最大大小。单位是K/M/G--force 强制删除目录，即使不为空--numeric-ids 不将数字的用户和组ID匹配为用户名和组名--timeout=TIME IP超时时间，单位为秒-I, --ignore-times 不跳过那些有同样的时间和长度的文件--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0-T --temp-dir=DIR 在DIR中创建临时文件--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份-P 等同于 --partial-z, --compress 对备份的文件在传输时进行压缩处理    --compress-level=NUM：指定压缩等级--exclude=PATTERN 指定排除不需要传输的文件模式--include=PATTERN 指定需要传输的文件模式--exclude-from=FILE 排除FILE文件中指定模式的文件--include-from=FILE 不排除FILE文件指定模式匹配的文件--version 打印版本信息--blocking-io 对远程shell使用阻塞IO--stats 给出某些文件的传输状态-h：以人类可读的方式显示传输信息。--progress 在传输时显示传输过程--log-format=formAT 指定日志文件格式--password-file=FILE 从FILE中得到密码.password文件的权限不能被其他用户读。DAEMON模式的选项：--daemon：以daemon的方式启动--address：绑定到特定的接口地址--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件--port=PORT 指定其他的rsync服务端口--bwlimit=KBPS 限制I/O带宽，KBytes per second常用的选项为： avz --delete --progress

rsync用法

本地shell模式

syntax:rsync [OPTION]... SRC [SRC]... DEST例子:rsync -avz /etc/hosts /tmp/

远程shell模式

syntaxPull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]Push: rsync [OPTION...] SRC... [USER@]HOST:DEST

例子

push例子rsync -avz /etc/hosts root@172.16.0.2:/tmp/pull例子rsync -avz root@172.16.0.2:/etc/issue /tmp/

daemon模式

daemon模式Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]      rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]Push: rsync [OPTION...] SRC... [USER@]HOST::DEST      rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

rsync服务器配置

说明： 1. rsync的配置文件为rsyncd.conf，可以使用–config选项指定要使用的配置文件。默认情况下，并没有提供该配置文件，需要手动创建。 2. 该配置文件由两部分组成，模块和参数。 3. 模块的格式：[Module] 4. 参数的格式：属性 = 值 5. 以#开头的表示注释。值的部分可以是yes、no、0、1、true或false。

参数

motd file：指定motd（message of the day）的位置。当客户端每一次连接时都会显示该文件中的内容，没有默认值。 pid file：指定rsync的pid文件存储位置。 lock file：指定rsync的lock文件存储位置。 log file：指定rsync的log文件存储位置。 port：指定rsync监听的端口。默认为873. address：指定rsync监听的地址。address = 0.0.0.0表示监听在本机上的所有地址。 syslog facility：指定rsync将log发送到syslog时的log级别。

模块选项如下(G/M表示也可以用于全局)

comment：指定模块的描述信息。（G/M） path：指定模块所映射的目录路径 max connections：模块所允许的最大连接数。如果是0则表示没有限制，如果是负值则表示关闭该模块。（G/M）。如果用于全局，则表示所有模块的最大连接数。 log file：指定存放日志信息的文件名。（G/M） lock file：指定lock文件的位置，确保不会达到最大连接数。默认为/var/run/rsyncd.lock。（G/M） read only：是否允许客户端上传。yes表示不允许上传，no表示允许上传。默认为yes。如果设置为yes，则表示只能下载。 write only：是否允许客户端下载。yes表示不允许客户端下载，no允许客户端下载。默认为no。如果设置为yes，表示只能上传。 list：是否允许客户端列出该模块下的内容。yes允许，no不允许。 uid：username或user ID。指定该模块传输文件时（上传或下载），守护进程应该具有的UID权限，默认为nobody。当以root权限启动服务时，uid和gid则表示修改上传的文件的uid和gid。 gid：groupname或group ID。指定该模块传输文件时（上传或下载），守护进程应该具有的GID权限，默认为nobody。 exclude：指定多个文件或目录(相对路径)不被同步,并将其添加到 exclude 列表中.多个文件(目录)用空格分隔.作用等同于在客户端命令中使用–exclude来指定模式. include：该选项针对于exclude,即同步exclude中的哪个文件(目录),并将其添加到include列表中，覆盖了exclude指定的文件或目录。多个文件(目录)用空格分隔.作用等同于在客户端命令中使用–include来指定模式. exclude from：和exclude的作用一样，只不过是exclude是将排除的文件或目录作为value的，而exclude from则是将排除的文件和目录写在文件中的，一行一个文件或目录。 include from：和include的作用一样，将包括的文件写在文件中。

incoming chmod：修改服务器收到的文件的权限。如：incoming chmod = D2775,F664。（D表示目录，F表示文件） outcoming chmod：修改服务器发送的文件的权限。 auth users与secrets file：这两个选项只能组合使用 auth users指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块,这里的用户和系统用户没有任何关系，用户名和口令以明文方式存放在 secrets file 参数指定的文件中，格式为username:password，常用的文件名为：/etc/rsyncd.secrets，password不能超过8个字符。 注意：secrets file文件的权限只能是启动rsyncd服务的用户具有rw权限，其他用户不能具有任何权限，即600. 示例： auth users = joe:deny @guest:deny admin:rw @rsync:ro susan joe sam 说明：用户joe以及在guest组中的任何用户将不能访问指定的模块。admin用户将具有rw的权限（会忽略read only和write only的设置），rsync组中的用户将具有ro的权限，以及susan、joe和sam将会获取read only和write only的设置的权限。 timeout：通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒，0表示没有超时定义，这也是默认值。对于匿名rsync服务器来说，一个理想的数字是600。 strict modes：指定是否检测口令文件的权限.若为 yes 则口令文件只能被 rsync 服务器运行身份的用户访问,其他任何用户不可以访问该文件，默认为yes。也就是该文件的权限为600或400。 hosts allow：用一个主机列表指定哪些主机客户允许连接该模块.不匹配主机列表的主机将被拒绝.也就是说如果指定hosts allow那么不在hosts allow指定中的主机都将都拒绝. hosts deny：用一个主机列表指定哪些主机不能连接rsync模块.如果hosts allow和hosts deny同时指定一台主机,则以hosts allow为准.hosts allow和hosts deny的格式可以是x.x.x.x或x.x.x.x/n 或x.x.x.x/x.x.x.x或*的形式，也可以是主机名，要求能够被解析。 ignore errors ：可以忽略一些无关的IO错误 use chroot(G/M)：若为 true,则 rsync 在传输文件之前首先 chroot 到 path 参数所指定的目录下.这样做的原因是实现额外的安全防护,但是缺点是需要 root 权限,并且不能备份指向 path 外部的符号连接所指向的目录文件。 transfer logging：该选项开启则记录下载和上传操作。如果不配置该选项，则即使配置了log format时，也不会生效。 log format通过该选项用户在使用transfer logging可以自己定制日志文件的字段. 其格式是一个包含格式定义符的字符串,但要注意log format使用要在transfer logging选项开启的时候才可以. 常用的如下： %o表示服务端提供什么操作,比如是接收send还是发送recv %a表示客户端的IP地址. %m表示服务端的模块名称 %P表示服务端模块指定的路径. %t 当前时间 %u 认证的用户名(匿名时是null) %b 实际传输的字节数 %f表示同步的文件. %l表示同步文件的大小. 如：log format = [op]:%o [ip]:%a [module]:%m [path]:%P [file]:%f [size]:%l

配置示例

创建配置文件[root@vm1 ~]# mkdir /etc/rsync[root@vm1 ~]# touch /etc/rsync/rsyncd.conf[root@vm1 ~]# 配置文件的内容：[root@vm1 ~]# cat /etc/rsync/rsyncd.conf## rsyncd config file in daemon modepid file = /var/run/rsyncd.pidlock file = /var/lock/subsys/rsyncd.locklog file = /var/log/rsyncd.logport = 873address = 0.0.0.0uid = rootgid = roottransfer logging = yeslog format = [time]:%t [op]:%o [ip]:%a [module]:%m [path]:%P [user]:%u [file]:%f [size]:%luse chroot = no[backup]comment = Data Backuppath = /data/backuphosts allow = 172.17.100.0/24hosts deny = *read only = nowrite only = nolist = yesauth users = felixstrict modes = yessecrets file = /etc/rsync/rsyncd.passignore errors[root@vm1 ~]# 创建secret file，并修改权限为600：[root@vm1 ~]# cat /etc/rsync/rsyncd.pass felix:123456[root@vm1 ~]# [root@vm1 ~]# ls -l /etc/rsync/rsyncd.pass-rw-r--r-- 1 root root 43 Jun 12 14:41 /etc/rsync/rsyncd.pass[root@vm1 ~]# chmod 600 /etc/rsync/rsyncd.pass[root@vm1 ~]# 

启动服务和停止服务

启动服务[root@vm1 ~]# rsync --daemon --config /etc/rsync/rsyncd.conf [root@vm1 ~]# ps aux | grep rsyncroot      1588  0.0  0.2 107620   668 ?        Ss   14:44   0:00 rsync --daemon --config /etc/rsync/rsyncd.confroot      1590  0.0  0.3 103244   856 pts/0    S+   14:44   0:00 grep rsync[root@vm1 ~]# netstat -tunlp | grep rsynctcp        0      0 0.0.0.0:873                 0.0.0.0:*                   LISTEN      1588/rsync          [root@vm1 ~]# 停止服务：kill $(cat /var/run/rsyncd.pid)[root@vm1 backup]# ps aux | grep rsyncroot      1263  0.0  0.2 107620   672 ?        Ss   15:10   0:00 rsync --daemon --config /etc/rsync/rsyncd.confroot      1369  0.0  0.3 103244   856 pts/0    S+   15:21   0:00 grep rsync[root@vm1 backup]# kill $(cat /var/run/rsyncd.pid)[root@vm1 backup]# ps aux | grep rsyncroot      1372  0.0  0.3 103244   856 pts/0    S+   15:21   0:00 grep rsync[root@vm1 backup]# 停止服务：pkill rsync

客户端配置

[root@vm2 tmp]# mkdir /etc/rsync[root@vm2 tmp]# touch /etc/rsync/rsync.pass[root@vm2 tmp]# vim /etc/rsync/rsync.pass[root@vm2 tmp]# chmod 600 /etc/rsync/rsync.pass[root@vm2 tmp]# cat /etc/rsync/rsync.pass123456[root@vm2 tmp]# 

列出服务器端的模块

[root@vm2 tmp]# rsync -avz root@172.17.100.1::backup          Data Backup[root@vm2 tmp]# 

pull和push

push（上传到服务器）

[root@vm2 tmp]# rsync -avz /etc/issue felix@172.17.100.1::backup Password: sending incremental file listissuesent 129 bytes  received 34 bytes  65.20 bytes/sectotal size is 47  speedup is 0.29[root@vm2 tmp]#

pull（从服务器上下载）

[root@vm2 tmp]# rsync -avz --progress --password-file=/etc/rsync/rsync.pass felix@172.17.100.1::backup/issue /tmp/receiving incremental file listissue             47 100%   45.90kB/s    0:00:00 (xfr#1, to-chk=0/1)sent 76 bytes  received 185 bytes  522.00 bytes/sectotal size is 47  speedup is 0.18[root@vm2 tmp]# ls -ltotal 4-rw-r--r-- 1 root root 47 Nov 27  2013 issue[root@vm2 tmp]# 

rsync的启停脚本

#!/bin/bashPID=/var/run/rsyncd.pidLOCK=/var/lock/subsys/rsyncd.lockCONF=/etc/rsync/rsyncd.confRSYNC=/usr/bin/rsyncprog=rsync#chkconfig: 35 80 20. /etc/init.d/functionsstart() {    netstat -tunlp | grep rsync > /dev/null    RETVAL=$?    if [ $RETVAL -eq 0 ];then        echo "rsyncd is running......"    else        if [ -s $PID ];then            kill -9 $(cat $PID) > /dev/null            rm -rf $PID > /dev/null        else            echo -n $"Starting $prog:"            daemon $RSYNC --daemon --config=$CONF            RETAVL=$?            echo            [ $RETVAL -eq 0 ] && touch $LOCK            return $RETVAL        fi    fi}stop() {#   netstat -tunlp | grep rsync > /dev/null    echo -n "Stop $prog:"    killproc $prog    RETVAL=$?    echo    [ $RETVAL -eq 0 ] && rm -rf $LOCK     return $RETVAL}case $1 in    start)        start        ;;    stop)        stop        ;;    status)        status $prog        ;;    restart)        stop        start        ;;    *)        echo "Usage: /etc/init.d/rsyncd start | restart | stop | status"        ;;esac

设置开机自动启动

[root@vm1 backup]# chmod +x /etc/init.d/rsyncd[root@vm1 backup]# chkconfig --add rsyncd[root@vm1 backup]# chkconfig rsyncd on[root@vm1 backup]# chkconfig --list rsyncdrsyncd          0:off   1:off   2:on    3:on    4:on    5:on    6:off[root@vm1 backup]#