当前位置: > CentOS > CentOS服务器 > 文件同步 >

rsync同步服务器数据

时间:2015-02-23 01:18来源:linux.it.net.cn 作者:IT

简介

rsync是类unix系统下的数据镜像备份工具。本文以Nexue数据备份的实践应用为案例,介绍整个应用过程。作为入门材料,rsync的高级配置和应用不在本文范畴。

官方网站:http://rsync.samba.org/

功能及特点:(从百度抄的)

 

  • 可以镜像保存整个目录树和文件系统。
  • 可以很容易做到保持原来文件的权限、时间、软硬链接等等。
  • 无须特殊权限即可安装。
  • 快速:第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件。rsync 在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽。
  • 安全:可以使用scp、ssh等方式来传输文件,当然也可以通过直接的socket连接。
  • 支持匿名传输,以方便进行网站镜象。

使用场景:

1、服务器数据备份

2、集群服务器中数据同步(增量是两点啊)

 

安装配置

rsync是应用模式是标准的C/S模式,原始数据所在的服务器A作为服务器,其他备份和同步的服务器B为客户端。所以分为服务器端配置和客户端配置。方案规划如下:

方案规划

服务器角色 服务器名称 服务器IP 用户 备份同步目录
服务端 服务器A 192.168.30.202 root /data/sonatype-work
客户端 服务器B 192.168.30.208 root /data/sonatype-work

 

rsync安装

rsync的安装,服务器端和客户端完全相同。

# wget http://rsync.samba.org/ftp/rsync/rsync-3.0.9.tar.gz

# tar -xzvf rsync-3.0.9.tar.gz

# cd cd rsync-3.0.9

# ./configure --prefix=/usr

……

# make

……

# make install

……

说明:编译安装需要gcc支持,如果没有安装,请先安装。我使用的是centOS6.3,所以就直接:yum install gcc.就OK了。

 

OK,安装完成。

 

服务端配置(服务器A)

服务器端的需求是通过rsync提供对/data/sonatype-work目录的同步备份服务,同时要求服务器启动自动启动服务。rsync通配置主要通过3个配置文件配置完成。如下:

[root@localhost etc]# ll rsyncd.*

-rw-r--r-- 1 root root 918 Mar  6 22:44 rsyncd.conf

-rw-r--r-- 1 root root 191 Mar  6 22:06 rsyncd.motd

-rw------- 1 root root  14 Mar  6 22:04 rsyncd.secrets

 

  • rsyncd.conf:主配置文件,配置rsync服务的公共参数(IP,端口,进程文件,IP限制,日志,连接超时等)和需要同步的模块(需要同步的目录及常规参数)
  • rsyncd.secrets:客户端请求同步时的账户安全认证文件。类似samba的模式(user:passwsord[明文哈]),这个文件的需要特别注意权限设置为宿主可访问才行(chmod 600 rsyncd.secrets)。
  • rsyncd.motd:该文件就是客户端请求上来的时候,立即回复的欢迎信息,就和FTP登录时显示差不多意思。

下面我们分配配置和说明这些配置文件。

rsyncd.conf

别拷贝,直接到下面下载附件的好。

 
  1. # Minimal configuration file for rsync daemon  
  2. # See rsync(1) and rsyncd.conf(5) man pages for help  
  3.   
  4. ##################################### 以下是公共参数配置 #############################################  
  5. # This line is required by the /etc/init.d/rsyncd script  
  6. pid file = /var/run/rsyncd.pid  
  7. # 服务的端口  
  8. port = 873  
  9. # 服务的IP  
  10. address = 192.168.30.202    
  11. # 运行的宿主账户,这里为简单就root了  
  12. uid = root     
  13. gid = root    
  14. # 这个参数复杂,有空去查查。打开(yes)后有个功能是让符号链接可以同步过去(不通过符号链接对应的实际文件)  
  15. use chroot = yes  
  16. # 客户端只读  
  17. read only = yes  
  18. #limit access to private LANs  
  19. hosts allow=192.168.30.0/255.255.255.0  
  20. hosts deny=*  
  21. # 最大连接数  
  22. max connections = 5   
  23. # 欢迎信息对应的文件  
  24. motd file = /etc/rsyncd.motd  
  25. # 客户端链接的超时时间  
  26. timeout = 300  
  27.   
  28. # 以下是日志相关配置,可选使用独立日志文件和系统日志,这里选择的是系统日志(/var/log/message)  
  29. # This will give you a separate log file  
  30. # log file = /var/log/rsync.log  
  31. # This will log every file transferred - up to 85,000+ per user, per sync  
  32. # transfer logging = yes  
  33. log format = %t %a %m %f %b  
  34. syslog facility = local3  
  35.   
  36. ##################################### 同步模块配置 #############################################  
  37. [nexus]  
  38. # 需要同步的路径  
  39. path = /data/sonatype-work  
  40. # 客户端可以使用list命令列表显示  
  41. list=yes  
  42. # 忽略错误  
  43. ignore errors  
  44. # 认证用户  
  45. auth users = root  
  46. # 认证使用的账户密码文件  
  47. secrets file = /etc/rsyncd.secrets  
  48. # 备注信息  
  49. comment = This is nexus data  
  50. # 如果有忽略的子目录,可以通过exclude定义  
  51. # exclude = easylife/  samba/  

 

 rsyncd.secrets

 

 

 
  1. # 用户名:密码明文了  
  2. root:1qaz@WSX  

 

 

rsyncd.motd

 

 
  1. +++++++++++++++++++++++++++++++++++++++++++++++++++++  
  2.         Welcome to Nexus rsync services  
  3.            2012--2013 create by zhangpu  
  4. ++++++++++++++++++++++++++++++++++++++++++++++++++++  

 

 

防火墙

如果你开启了操作系统的防火墙,请使用iptables配置873端口可用。我反反正是直接关闭了,简单点。

 

 启动服务

 手动方式

#/usr/bin/rsync --daemon  --config=/etc/rsyncd.conf  #--config用于指定rsyncd.conf的位置,如果在/etc下可以不写

xinetd方式

如果没有安装xinet,请先安装,对应本系统(CentOS),我直接 yum install xinet 就OK了

在rsync默认安装完成后,安装程序会自动在建立/etc/xinetd.d/rsync文件,但是默认情况是disable = yes(也就是不可用的),需要修改为disable=no 即可

然后,我们通过xinet启动rsync:

# service xinetd start/restart

测试下,可以查看进程,端口监听等,我还是喜欢最笨最原始的方式:telnet,哈哈

 

# telnet 192.168.30.202 873

Trying 192.168.30.202...

Connected to 192.168.30.202 (192.168.30.202).

Escape character is '^]'.

@RSYNCD: 30.0

+++++++++++++++++++++++++++++++++++++++++++++++++++++

        Welcome to Nexus rsync services

           2012--2013 create by zhangpu

++++++++++++++++++++++++++++++++++++++++++++++++++++

 

 

都看到欢迎界面了,肯定服务起来了。

 

客户端配置(服务器B)

客户端是备份服务器,负责使用rsync命令从服务器备份或同步数据到本地指定目录。这里使用crontab+rsync实现定时自动增量同步的功能。

我决定在/data/rsync下建立一个脚本来实现启动rsync同步的功能,然后再使用crontab来实现定时调度。

 

[root@localhost rsync]# ll /data/rsync

total 8

-rwxr-xr-x 1 root root 177 Mar  6 15:27 rsync_client_nexus.sh

-rwx------ 1 root root   9 Mar  6 15:17 rsyncd.secrets

 

 

rsync_client_nexus.sh

 

 
  1. #!/bin/sh  
  2. # backup 192.168.30.202 nexus data with rysnc  
  3. # 参数说明:  
  4. # -avzP表示归档,压缩并显示进度;  
  5. # --delete表示如果服务端删除的文件,客户端也需要删除;  
  6. # --password-file: 指定用户密码文件,不用用户交互输入。  
  7. # root@192.168.30.202::nexus 表示:使用root用户访问192.168.30.202的nexus模块,‘::’表示从服务器端拷贝数据  
  8. # /data/sonatype-work : 本地保存同步文件的目录。  
  9. /usr/bin/rsync -avzP --delete --password-file=/data/rsync/rsyncd.secrets root@192.168.30.202::nexus /data/sonatype-work  

 rsyncd.secrets

该文件保存rsync命令中使用的用户名的密码明文,这里就是上面的root用户的密码。同时注意这里和服务器端一样,该文件的权限为宿主可以读写(chmod 600 rsyncd.secrets)

 
  1. # root(rsync的,非操作系统)用户的密码  
  2. 1qaz@WSX  

 

crontab配置

这是配置每天凌晨1点1分进行同步处理。

# crontab -e

1 1 * * * /data/rsync/rsync_client_nexus.sh   1> /dev/null

 

测试

 

测试就比较简单了,在服务器A的/data/sonatype-work下建立一个testfile,随便输入些东西,然后在服务器B中手动运行同步脚本rsync_client_nexus.sh,完成后在服务器B中相同目录检查是否有该文件。通过这种方式,你可以再修改文件,删除文件等测试。

 

(责任编辑:IT)
------分隔线----------------------------