使用rsync+inotify配置触发式(实时)远程同步
时间:2016-02-02 18:41 来源:linux.it.net.cn 作者:IT
CentOS 5.3的rsync升级3。X
安装步骤
-
wget http://packages.sw.be/rpmforge-release/rpmforge-release-0.3.6-1.el5.rf.i386.rpm
-
rpm -ivh rpmforge-release-0.3.6-1.el5.rf.i386.rpm
-
yum update rsync
一
两台服务器 系统均为centos5.3，IP为：
192.168.4.167-server1
192.168.4.168-server2
把192.168.4.167的/disk目录实时同步到192.168.4.168的/disk目录下
查看是否支持inotify，从kernel 2.6.13开始正式并入内核，RHEL5已经支持。
看看是否有 /proc/sys/fs/inotify/目录，以确定内核是否支持inotify
[root@RHEL5 Rsync]# ll /proc/sys/fs/inotify
total 0
-rw-r--r-- 1 root root 0 Oct 9 09:36 max_queued_events
-rw-r--r-- 1 root root 0 Oct 9 09:36 max_user_instances
-rw-r--r-- 1 root root 0 Oct 9 09:36 max_user_watches
二．具体操作
1． 生成SSH KEY 让server1 SSH server2不需要密码
(1 Server1＃ssh-keygen -t rsa
这个命令生成一个密钥对：id_rsa（私钥文件）和id_rsa.pub（公钥文件）。默认被保存在~/.ssh/目录下。
(2 公钥添加到远程主机的 authorized_keys 文件中
将文件上传到远程主机中
server1#scp ~/.ssh/id_rsa.pub root@192.168.4.168:/root/
SSH到登陆到远程主机，将公钥追加到 authorized_keys 文件中
server2#cat /root/id_rsa.pub >> /root/.ssh/authorized_keys
(3)server2#service sshd restart
2.在server1上安装rsync
Server1# tar –zxvf rsync-3.0.2.tar.gz
Server1# cd rsync-3.0.2
Server1# ./configure
Server1#make
Server1# make install
3.安装inotify
Server1# tar –zxvf inotify-tools-3.13.tar.gz
Server1# cd inotify-tools-3.13
Server1# ./configure
Server1# make
Server1# make install
完成后，注意查看manpage，man inotify 、 man inotifywait
· inotifywait 仅执行阻塞，等待 inotify 事件。您可以监控任何一组文件和目录，或监控整个目录树（目录、子目录、子目录的子目录等等）。在 shell 脚本中使用 inotifywait。
· inotifywatch 收集关于被监视的文件系统的统计数据，包括每个 inotify 事件发生多少次。
4.写个inotif_rsync.sh脚本
-
/bin/sh
-
src=/disk
-
des=/
-
ip=192.168.4.168
-
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' /
-
-e modify,delete,create,attrib /
-
${src} /
-
| while read file
-
do
-
rsync -avz --delete --progress ${src} root@${ip}:${des} &&
-
echo "${file} was rsynced"
-
echo "---------------------------------------------------------------------------"
-
done
将其赋予可执行权限：chmod 755 inotif_rsync.sh
执行此脚本：./ inotif_rsync.sh &
将此脚本写入到/etc/rc.local 让系统自动加载即可.
5.测试
在server1服务器的/disk目录下创建文件或目录，到server2的/disk目录下可以看到即ＯＫ
Server1# cd /disk
Server1# touch aaa
Server2# cd /disk
Server2# ls
看到aaa文件即ＯＫ！！！！
三． 脚本相关注解：
－m 是保持一直监听
－r 是递归查看目录
－q 是打印出事件～
－e create,move,delete,modify
监听 创建 移动 删除 写入 事件
rsync -aHqzt $SRC $DST
-a 存档模式
-H 保存硬连接
-q 制止非错误信息
-z 压缩文件数据在传输
-t 维护修改时间
-delete 删除于多余文件
当要排出同步某个目录时，为rsync添加--exculde=PATTERN参数，注意，路径是相对路径。详细查看man rsync
当要排除都某个目录的事件监控的处理时，为inotifywait添加--exclude或--excludei参数。详细查看man inotifywait
另：
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' /
-e modify,delete,create,attrib /
${src} /
上面的命令返回的值类似于：
10/03/09 15:31 /wwwpic/1
这3个返回值做为参数传给read，关于此处，有人是这样写的：
inotifywait -mrq -e create,move,delete,modify $SRC | while read D E F;do
细化了返回值。
说明： 当文件系统发现指定目录下有如上的条件的时候就触发相应的指令，是一种主动告之的而非我用循环比较目录下的文件的异动，该程序
在运行时，更改目录内的文件时系统内核会发送一个信号，这个信号会触发运行rsync命令，这时会同步源目录和目标目录。
--timefmt：指定输出时的输出格式
--format： '%T %w%f'指定输出的格式
二.关于inotify介绍
Inotify 是文件系统事件监控机制，作为 dnotify 的有效替代。dnotify 是较早内核支持的文件监控机制。Inotify 是一种强大的、细粒度的
、异步的机制，它满足各种各样的文件监控需要，不仅限于安全和性能。
inotify 可以监视的文件系统事件包括：
IN_ACCESS，即文件被访问
IN_MODIFY，文件被 write
IN_ATTRIB，文件属性被修改，如 chmod、chown、touch 等
IN_CLOSE_WRITE，可写文件被 close
IN_CLOSE_NOWRITE，不可写文件被 close
IN_OPEN，文件被 open
IN_MOVED_FROM，文件被移走,如 mv
IN_MOVED_TO，文件被移来，如 mv、cp
IN_CREATE，创建新文件
IN_DELETE，文件被删除，如 rm
IN_DELETE_SELF，自删除，即一个可执行文件在执行时删除自己
IN_MOVE_SELF，自移动，即一个可执行文件在执行时移动自己
IN_UNMOUNT，宿主文件系统被 umount
IN_CLOSE，文件被关闭，等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)
IN_MOVE，文件被移动，等同于(IN_MOVED_FROM | IN_MOVED_TO)
注：上面所说的文件也包括目录。
相关参考:
http://www.ibm.com/developerworks/cn/linux/l-ubuntu-inotify/index.html
以上设置经过虚拟机centos5.3环境测试通过
(责任编辑：IT)
| CentOS 5.3的rsync升级3。X 安装步骤
两台服务器 系统均为centos5.3，IP为： 192.168.4.167-server1 192.168.4.168-server2 把192.168.4.167的/disk目录实时同步到192.168.4.168的/disk目录下 查看是否支持inotify，从kernel 2.6.13开始正式并入内核，RHEL5已经支持。 看看是否有 /proc/sys/fs/inotify/目录，以确定内核是否支持inotify [root@RHEL5 Rsync]# ll /proc/sys/fs/inotify total 0 -rw-r--r-- 1 root root 0 Oct 9 09:36 max_queued_events -rw-r--r-- 1 root root 0 Oct 9 09:36 max_user_instances -rw-r--r-- 1 root root 0 Oct 9 09:36 max_user_watches 二．具体操作 1． 生成SSH KEY 让server1 SSH server2不需要密码 (1 Server1＃ssh-keygen -t rsa 这个命令生成一个密钥对：id_rsa（私钥文件）和id_rsa.pub（公钥文件）。默认被保存在~/.ssh/目录下。 (2 公钥添加到远程主机的 authorized_keys 文件中 将文件上传到远程主机中 server1#scp ~/.ssh/id_rsa.pub root@192.168.4.168:/root/ SSH到登陆到远程主机，将公钥追加到 authorized_keys 文件中 server2#cat /root/id_rsa.pub >> /root/.ssh/authorized_keys (3)server2#service sshd restart 2.在server1上安装rsync Server1# tar –zxvf rsync-3.0.2.tar.gz Server1# cd rsync-3.0.2 Server1# ./configure Server1#make Server1# make install 3.安装inotify Server1# tar –zxvf inotify-tools-3.13.tar.gz Server1# cd inotify-tools-3.13 Server1# ./configure Server1# make Server1# make install 完成后，注意查看manpage，man inotify 、 man inotifywait · inotifywait 仅执行阻塞，等待 inotify 事件。您可以监控任何一组文件和目录，或监控整个目录树（目录、子目录、子目录的子目录等等）。在 shell 脚本中使用 inotifywait。 · inotifywatch 收集关于被监视的文件系统的统计数据，包括每个 inotify 事件发生多少次。 4.写个inotif_rsync.sh脚本
将其赋予可执行权限：chmod 755 inotif_rsync.sh 执行此脚本：./ inotif_rsync.sh & 将此脚本写入到/etc/rc.local 让系统自动加载即可. 5.测试 在server1服务器的/disk目录下创建文件或目录，到server2的/disk目录下可以看到即ＯＫ Server1# cd /disk Server1# touch aaa Server2# cd /disk Server2# ls 看到aaa文件即ＯＫ！！！！ 三． 脚本相关注解： －m 是保持一直监听 －r 是递归查看目录 －q 是打印出事件～ －e create,move,delete,modify 监听 创建 移动 删除 写入 事件 rsync -aHqzt $SRC $DST -a 存档模式 -H 保存硬连接 -q 制止非错误信息 -z 压缩文件数据在传输 -t 维护修改时间 -delete 删除于多余文件 当要排出同步某个目录时，为rsync添加--exculde=PATTERN参数，注意，路径是相对路径。详细查看man rsync 当要排除都某个目录的事件监控的处理时，为inotifywait添加--exclude或--excludei参数。详细查看man inotifywait 另： /usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' / -e modify,delete,create,attrib / ${src} / 上面的命令返回的值类似于： 10/03/09 15:31 /wwwpic/1 这3个返回值做为参数传给read，关于此处，有人是这样写的： inotifywait -mrq -e create,move,delete,modify $SRC | while read D E F;do 细化了返回值。 说明： 当文件系统发现指定目录下有如上的条件的时候就触发相应的指令，是一种主动告之的而非我用循环比较目录下的文件的异动，该程序 在运行时，更改目录内的文件时系统内核会发送一个信号，这个信号会触发运行rsync命令，这时会同步源目录和目标目录。 --timefmt：指定输出时的输出格式 --format： '%T %w%f'指定输出的格式 二.关于inotify介绍 Inotify 是文件系统事件监控机制，作为 dnotify 的有效替代。dnotify 是较早内核支持的文件监控机制。Inotify 是一种强大的、细粒度的 、异步的机制，它满足各种各样的文件监控需要，不仅限于安全和性能。 inotify 可以监视的文件系统事件包括： IN_ACCESS，即文件被访问 IN_MODIFY，文件被 write IN_ATTRIB，文件属性被修改，如 chmod、chown、touch 等 IN_CLOSE_WRITE，可写文件被 close IN_CLOSE_NOWRITE，不可写文件被 close IN_OPEN，文件被 open IN_MOVED_FROM，文件被移走,如 mv IN_MOVED_TO，文件被移来，如 mv、cp IN_CREATE，创建新文件 IN_DELETE，文件被删除，如 rm IN_DELETE_SELF，自删除，即一个可执行文件在执行时删除自己 IN_MOVE_SELF，自移动，即一个可执行文件在执行时移动自己 IN_UNMOUNT，宿主文件系统被 umount IN_CLOSE，文件被关闭，等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE) IN_MOVE，文件被移动，等同于(IN_MOVED_FROM | IN_MOVED_TO) 注：上面所说的文件也包括目录。 相关参考: http://www.ibm.com/developerworks/cn/linux/l-ubuntu-inotify/index.html 以上设置经过虚拟机centos5.3环境测试通过 (责任编辑：IT) |