内容提要
rsync 简介
rsync（remote synchronize）是一个远程数据同步工具，可通过 LAN/WAN 快速同步多台主机之间的文件。也可以使用 rsync 同步本地硬盘中的不同目录。
在使用 rsync 进行远程同步时，可以使用两种方式：远程 Shell 方式（建议使用 ssh，用户验证由 ssh 负责）和 C/S 方式（即客户连接远程 rsync 服务器，用户验证由 rsync 服务器负责）。 镜像、备份和归档实施备份的两种情况：
rsync 命令rsync 是一个功能非常强大的工具，其命令也有很多功能选项。rsync 的命令格式为： 1）本地使用： rsync [OPTION...] SRC... [DEST] 2）通过远程 Shell 使用： 拉: rsync [OPTION...] [USER@]HOST:SRC... [DEST] 推: rsync [OPTION...] SRC... [USER@]HOST:DEST 3）访问 rsync 服务器: 拉: rsync [OPTION...] [USER@]HOST::SRC... [DEST] 推: rsync [OPTION...] SRC... [USER@]HOST::DEST 拉: rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST] 推: rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST 其中：
下面列出常用选项：
rsync 的基本使用在本地磁盘同步数据# rsync -a --delete /home /backups # rsync -a --delete /home/ /backups/home.0 在指定复制源时，路径是否有最后的 “/” 有不同的含义，例如：
使用基于 ssh 的 rsync 远程同步数据
# 执行“推”复制同步（centos5 是可解析的远程主机名） [root@soho ~]# rsync /etc/hosts centos5:/etc/hosts # 执行“拉”复制同步（soho 是可解析的远程主机名） [root@centos5 ~]# rsync soho:/etc/hosts /etc/hosts
# 执行“推”复制同步 [osmond@soho ~]$ rsync ~/.bash* centos5: # 执行“拉”复制同步 [osmond@cnetos5 ~]$ rsync soho:~/.bash* .
# 执行“推”复制同步 [osmond@soho ~]$ rsync -avz --delete /var/www root@192.168.0.101:/var/www # 执行“拉”复制同步 [osmond@cnetos5 ~]$ rsync -avz --delete root@192.168.0.55:/var/www /var/www
使用 rsync 从远程 rsync 服务器同步数据
下面以镜像 CentOS 和 Ubuntu 的软件库为例来说明。 然后执行类似如下命令： rsync -aqzH --delete --delay-updates \ rsync://mirror.centos.net.cn/centos /var/www/mirror/centos rsync -azH --progress --delete --delay-updates \ rsync://ubuntu.org.cn/ubuntu /var/www/mirror/ubuntu/ rsync -azH --progress --delete --delay-updates \ rsync://ubuntu.org.cn/ubuntu-cn /var/www/mirror/ubuntu-cn/ 为了每天不断更新，可以安排一个 cron 任务： # crontab -e # mirror centos at 0:10AM everyday 10 0 * * * rsync -aqzH --delete --delay-updates rsync://mirror.centos.net.cn/centos /var/www/mirror/centos/ # mirror ubuntu at 2:10AM everyday 10 2 * * * rsync -azH --progress --delete --delay-updates rsync://ubuntu.org.cn/ubuntu /var/www/mirror/ubuntu/ # mirror ubuntu-cn at 4:10AM everyday 10 4 * * * rsync -azH --progress --delete --delay-updates rsync://ubuntu.org.cn/ubuntu-cn /var/www/mirror/ubuntu-cn/ 如果您安装了自己的匿名 rsync 服务器请相应地更改 rsync URL。有关如何配置匿名 rsync 服务器的内容请参见下节。 筛选 rsync 的传输目标使用 --exclude/--include 选项
可以使用 ––exclude 选项排除源目录中要传输的文件；同样地，也可以使用 ––include 选项指定要传输的文件。 # rsync -vzrtopg --delete --exclude "logs/" --exclude "conf/" --progress \ backup@192.168.0.101:/www/ /backup/www/ 又如：下面的 rsync 命令仅复制目录结构而忽略掉目录中的文件。 # rsync -av --include '*/' --exclude '*' \ backup@192.168.0.101:/www/ /backup/www-tree/ 选项 ––include 和 ––exclude 都不能使用间隔符。例如： --exclude "logs/" --exclude "conf/" 不能写成 --exclude "logs/ conf/" 使用 --exclude-from/--include-from 选项当 include/exclude 的规则较复杂时，可以将规则写入规则文件。使用规则文件可以灵活地选择传输哪些文件（include）以及忽略哪些文件（exclude）。
在 rsync 的命令行中使用 ––exclude-from=FILE 或 ––include-from=FILE 读取规则文件。
包含（include）和排除（exclude）规则的语法如下：
PATTERN 的书写规则如下：
下面给出几个使用规则的例子： # 不传输所有后缀为 .o 的文件 - *.o # 不传输传输根目录下名为 foo 的文件或目录 - /foo # 不传输名为 foo 的目录 - foo/ # 不传输 /foo 目录下的名为 bar 的文件或目录 - /foo/bar 例2： # 传输所有目录和C语言源文件并禁止传输其他文件 + */ + *.c - * 例3： # 仅传输 foo 目录和其下的 bar.c 文件 + foo/ + foo/bar.c - *
将规则写入规则文件之后，如何在命令行上使用它呢？下面给出一个例子： # 不传输 logs 目录 - logs/ # 不传输后缀为 .tmp 的文件 - *.tmp # 传输 Apache 虚拟主机文档目录（/*/ 匹配域名） + /srv/www/ + /srv/www/*/ + /srv/www/*/htdocs/ + /srv/www/*/htdocs/** # 传输每个用户的 public_html 目录（/*/ 匹配用户名） + /home/ + /home/*/ + /home/*/public_html/ + /home/*/public_html/** # 禁止传输其他 - * 然后即可使用类似如下的 rsync 命令： rsync -av --delete --exclude-from=www-rsync-rules / remotehost:/dest/dir rsync 应用示例使用 rsync 镜像
使用 rsync 对目录做镜像实际上就是做无历史归档的完全备份。下面给出一个镜像远程 Web 站点例子。 ~ |-- sinosmond.com | `-- dokuwiki |-- smartraining.cn | `-- dokuwiki `-- symfony-project.cn `-- dokuwiki 每个 Dokuwiki 的目录结构如下： dokuwiki |-- bin |-- inc |-- conf --- 存放配置文件的目录 | |-- acl.auth.php --- 访问控制配置文件 ★ | |-- local.php --- 本地配置文件 ★ | |-- users.auth.php --- 用户口令文件 ★ | `-- ……………… |-- data --- 存放数据的目录 | |-- attic --- 存放WIKI版本信息 ★ | |-- cache --- 存放数据缓存 | |-- index --- 存放站内索引 | |-- locks --- 存放编辑页面时的锁定文件 | |-- media --- 存放图片等 ★ | |-- meta --- 存放 meta 以便系统读取这些信息生成页面 ★ | `-- pages --- 存放 wiki 页面 ★ `-- lib |-- plugins --- 存放插件的目录 ☆ |-- tpl --- 存放模版的目录 ☆ `-- ……………… 为了减少网络流量，只同步标有 ★ 的目录或文件。若在站点运行过程中新安装了插件或更换了模板，也应该同步标有 ☆ 的目录。为此编写如下的规则文件 /root/bin/backup/dw-exclude.txt： - dokuwiki/bin/ - dokuwiki/inc/ - dokuwiki/data/cache/ - dokuwiki/data/locks/ - dokuwiki/data/index/ + dokuwiki/conf/acl.auth.php + dokuwiki/conf/local.php + dokuwiki/conf/users.auth.php - dokuwiki/conf/* + dokuwiki/lib/plugins/ # 不同步系统默认安装的插件 - dokuwiki/lib/plugins/acl/ - dokuwiki/lib/plugins/config/ - dokuwiki/lib/plugins/importoldchangelog/ - dokuwiki/lib/plugins/importoldindex/ - dokuwiki/lib/plugins/info/ - dokuwiki/lib/plugins/plugin/ - dokuwiki/lib/plugins/revert/ - dokuwiki/lib/plugins/usermanager/ - dokuwiki/lib/plugins/action.php - dokuwiki/lib/plugins/admin.php - dokuwiki/lib/plugins/syntax.php + dokuwiki/lib/tpl # 不同步系统默认安装的模板 - dokuwiki/lib/tpl/default/ - dokuwiki/lib/* - dokuwiki/COPYING - dokuwiki/doku.php - dokuwiki/feed.php - dokuwiki/index.php - dokuwiki/install* - dokuwiki/README - dokuwiki/VERSION 下面是同步脚本 /root/bin/backup/rsync-dw.sh
#!/bin/bash
#####################################
# mirror dokuwiki website
# $1 --- domain (ex: smartraining.cn)
# $2 --- full or update
#####################################
# declare some variable
RmtUser=osmond
RmtIP=208.113.163.110
RmtPath=$1/dokuwiki
BackupRoot=/backups/$1
Excludes="--exclude-from=/root/bin/backup/dw-exclude.txt"
# use rsync for mirror
if [ "$2" == "full" ]
then
[ -d /backups/$1 ] || mkdir -p /backups/$1
excludesfile="/tmp/first-excludes"
cat > ${excludesfile} << EOF
+ dokuwiki/data/cache/_dummy
- dokuwiki/data/cache/*
+ dokuwiki/data/locks/_dummy
- dokuwiki/data/locks/*
+ dokuwiki/data/index/_dummy
- dokuwiki/data/index/*
EOF
/usr/bin/rsync -avzP --exclude-from=${excludesfile} \
$RmtUser@$RmtIP:$RmtPath $BackupRoot
else
/usr/bin/rsync -avzP --delete $Excludes \
$RmtUser@$RmtIP:$RmtPath $BackupRoot
fi
首次备份可以使用类似如下的命令（为了在本地保留一个完整复本）： # /root/bin/backup/rsync-dw.sh smartraining.cn full # /root/bin/backup/rsync-dw.sh sinosmond.com full # /root/bin/backup/rsync-dw.sh symfony-project.cn full 可以安排 cron 任务以便日后更新： # crontab -e 05 1 * * * /root/bin/backup/rsync-dw.sh smartraining.cn 25 1 * * * /root/bin/backup/rsync-dw.sh sinosmond.com 45 1 * * * /root/bin/backup/rsync-dw.sh symfony-project.cn 普通型增量备份使用 rsync 可以做增量备份。rsync 提供了 -b ––backup-dir 选项，使用这个选项可以将有变化的文件进行更新同时将其旧版本保存在指定的目录中，从而实现增量备份。 下面是对 /home 进行增量备份的步骤说明： # 第0次备份 # 首先复制 /home 目录的内容到备份目录 /backups/daily/home.0， # rsync -a /home/ /backups/daily/home.0 # /backups/daily/home.0 总是同步到最新的状态，可以每隔一段时间（如一周） # 对其内容进行打包压缩生成归档文件（完全备份）存在 /backups/archive/。 # 第1次备份（此为核心操作） # 将 /home 目录的内容同步到目录 /backups/daily/home.0， # 并将有变化的文件的旧版本保存到 /backups/daily/home.1， # 若每天执行一次，则目录 /backups/daily/home.1 保存了有变化文件一天前的状态。 # rsync -a --delete -b --backup-dir=/backups/daily/home.1 /home/ /backups/daily/home.0 # 第2次备份 # 将备份目录 /backups/daily/home.1 更名为 /backups/daily/home.2 # mv /backups/daily/home.1 /backups/daily/home.2 # 执行第1次备份的核心操作 # 第n次备份 # 将早先的备份目录 /backups/daily/home.n 到 /backups/daily/home.1 # 依次更名为 /backups/daily/home.(n+1) 到 /backups/daily/home.2 # 执行第1次备份的核心操作 下面给出一个增量备份示例脚本。
#!/bin/bash
#========================
# 您可以安排 cron 任务执行本脚本
# > crontab -e
#
# daily : 1 1 * * * /path/to/script/rsync-backup.sh
#========================
mydate="`date '+%Y%m%d.%H%M'`"
# Define rmt location
RmtUser=root
RmtHost=192.168.0.55
RmtPath=/home/
BackupSource="${RmtUser}@${RmtHost}:${RmtPath}"
#BackupSource="/home/" # 若进行本地备份则用本地路径替换上面的行
# Define location of backup
BackupRoot="/backups/$RmtHost/"
# BackupRoot="/backups/localhost/" # 若进行本地备份则用本地路径替换上面的行
LogFile="${BackupRoot}/backup.log"
ExcludeList="/root/backup/backup-exclude-list.txt"
BackupName='home'
BackupNum="7" # 指定保留多少个增量备份（适用于每周生成归档文件）
#BackupNum="31" # 指定保留多少个增量备份（适用于每月生成归档文件）
# 定义函数检查目录 $1 是否存在，若不存在创建之
checkDir() {
if [ ! -d "${BackupRoot}/$1" ] ; then
mkdir -p "${BackupRoot}/$1"
fi
}
# 定义函数实现目录滚动
# $1 -> 备份路径
# $2 -> 备份名称
# $3 -> 增量备份的数量
rotateDir() {
for i in `seq $(($3 - 1)) -1 1`
do
if [ -d "$1/$2.$i" ] ; then
/bin/rm -rf "$1/$2.$((i + 1))"
mv "$1/$2.$i" "$1/$2.$((i + 1))"
fi
done
}
# 调用函数 checkDir ，确保目录存在
checkDir "archive"
checkDir "daily"
#======= Backup Begin =================
# S1: Rotate daily.
rotateDir "${BackupRoot}/daily" "$BackupName" "$BackupNum"
checkDir "daily/${BackupName}.0/"
checkDir "daily/${BackupName}.1/"
mv ${LogFile} ${BackupRoot}/daily/${BackupName}.1/
cat >> ${LogFile} <<_EOF
===========================================
Backup done on: $mydate
===========================================
_EOF
# S2: Do the backup and save difference in ${BackupName}.1
rsync -av --delete \
-b --backup-dir=${BackupRoot}/daily/${BackupName}.1 \
--exclude-from=${ExcludeList} \
$BackupSource ${BackupRoot}/daily/${BackupName}.0 \
1>> ${LogFile} 2>&1
# S3: Create an archive backup every week
if [ `date +%w` == "0" ] # 每周日做归档
# if [ `date +%d` == "01" ] # 每月1日做归档
then
tar -cjf ${BackupRoot}/archive/${BackupName}-${mydate}.tar.bz2 \
-C ${BackupRoot}/daily/${BackupName}.0 .
fi
您可以适当修该上述脚本中变量： RmtPath="$1/" #BackupSource="$1/" BackupName="$1" 然后传递脚本参数备份其他目录，例如要备份 /www 可以使用如下命令： ./rsync-backup.sh /www 快照型增量备份
使用 rsync 可以做快照（Snapshot）型增量备份。每一个快照都相当于一个完全备份。其核心思想是：对有变化的文件进行复制；对无变化的文件创建硬链接以减少磁盘占用。 # 第0次备份 # 首先复制 /home 目录的内容到备份目录 /backups/home.0 # rsync -a /home/ /backups/home.0 # 第1次备份（此为核心操作） # 以硬链接形式复制 /backups/home.0 到 /backups/home.1 # cp -al /backups/home.0 /backups/home.1 # 将 /home 目录的内容同步到目录 /backups/home.0 # （rsync 在发现变化的文件时，先删除之，然后在创建该文件） # rsync -a --delete /home/ /backups/home.0 # 第2次备份 # 将备份目录 /backups/home.1 更名为 /backups/home.2 # mv /backups/home.1 /backups/home.2 # 执行第1次备份的核心操作 # 第n次备份 # 将早先的备份目录 /backups/home.n 到 /backups/home.1 # 依次更名为 /backups/home.(n+1) 到 /backups/home.2 # 执行第1次备份的核心操作 rsync 2.5.6 版本之后提供了 ––link-dest 选项，如下两条核心操作命令： cp -al /backups/home.0 /backups/home.1 rsync -a --delete /home/ /backups/home.0 可以简化为如下的一条命令： rsync -a --delete --link-dest=/backups/home.1 /home/ /backups/home.0 下面给出一个快照型增量备份示例脚本，该脚本来自http://www.mikerubel.org/computers/rsync_snapshots/contributed/peter_schneider-kamp
#!/bin/bash
# ----------------------------------------------------------------------
# mikes handy rotating-filesystem-snapshot utility
# ----------------------------------------------------------------------
# RCS info: $Id: make_snapshot.sh,v 1.6 2002/04/06 04:20:00 mrubel Exp $
# ----------------------------------------------------------------------
# this needs to be a lot more general, but the basic idea is it makes
# rotating backup-snapshots of /home whenever called
# ----------------------------------------------------------------------
# ------------- system commands used by this script --------------------
ID='/usr/bin/id';
ECHO='/bin/echo';
MOUNT='/bin/mount';
RM='/bin/rm';
MV='/bin/mv';
CP='/bin/cp';
TOUCH='/usr/bin/touch';
RSYNC='/usr/bin/rsync';
# ------------- file locations -----------------------------------------
MOUNT_DEVICE=/dev/hdb1;
SNAPSHOT_RW=/root/snapshots;
EXCLUDES=/etc/snapshot_exclude;
# ------------- backup configuration------------------------------------
BACKUP_DIRS="/etc /home"
NUM_OF_SNAPSHOTS=3
BACKUP_INTERVAL=hourly
# ------------- the script itself --------------------------------------
# make sure we're running as root
if (( `$ID -u` != 0 )); then { $ECHO "Sorry, must be root. Exiting..."; exit; } fi
echo "Starting snapshot on "`date`
# attempt to remount the RW mount point as RW; else abort
$MOUNT -o remount,rw $MOUNT_DEVICE $SNAPSHOT_RW ;
if (( $? )); then
{
$ECHO "snapshot: could not remount $SNAPSHOT_RW readwrite";
exit;
}
fi;
# rotating snapshots
for BACKUP_DIR in $BACKUP_DIRS
do
NUM=$NUM_OF_SNAPSHOTS
# step 1: delete the oldest snapshot, if it exists:
if [ -d ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_INTERVAL}.$NUM ] ; then \
$RM -rf ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_INTERVAL}.$NUM ; \
fi ;
NUM=$(($NUM-1))
# step 2: shift the middle snapshots(s) back by one, if they exist
while [[ $NUM -ge 1 ]]
do
if [ -d ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_INTERVAL}.$NUM ] ; then \
$MV ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_INTERVAL}.$NUM ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_IN}
fi;
NUM=$(($NUM-1))
done
# step 3: make a hard-link-only (except for dirs) copy of the latest snapshot,
# if that exists
if [ -d ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_INTERVAL}.0 ] ; then \
$CP -al ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_INTERVAL}.0 ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_INTERVAL}
fi;
# step 4: rsync from the system into the latest snapshot (notice that
# rsync behaves like cp --remove-destination by default, so the destination
# is unlinked first. If it were not so, this would copy over the other
# snapshot(s) too!
$RSYNC \
-va --delete --delete-excluded \
--exclude-from="$EXCLUDES" \
${BACKUP_DIR}/ ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_INTERVAL}.0 ;
# step 5: update the mtime of ${BACKUP_INTERVAL}.0 to reflect the snapshot time
$TOUCH ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_INTERVAL}.0 ;
done
# now remount the RW snapshot mountpoint as readonly
$MOUNT -o remount,ro $MOUNT_DEVICE $SNAPSHOT_RW ;
if (( $? )); then
{
$ECHO "snapshot: could not remount $SNAPSHOT_RW readonly";
exit;
} fi;
参考(责任编辑：IT) |