当前位置: > Linux集群 >

利用heartbeat实现三台主机自动切换网络参数

时间:2014-03-14 00:26来源:linux.it.net.cn 作者:IT网
一、环境

node0
eth0:192.168.32.30 service vip1:192.168.32.21 VMAC1:00:1E:68:1E:99:5E
eth1:10.160.100.30 heart RMAC:00:18:8B:8E:04:E2

node1
eth0:192.168.32.31 service vip1:192.168.32.21 VMAC1:00:1E:68:1E:99:5E
eth1:10.160.100.31 heart vip2:192.168.32.22 VMAC2:00:1E:68:1E:88:5E RMAC:00:1E:68:1E:19:5E

node2
eth0:192.168.32.32 service vip2:192.168.32.22 VMAC2:00:1E:68:1E:88:5E
eth1:10.160.100.32 heart RMAC:00:1E:68:1E:16:7E



实验要求:
1、当node0的网络出现故障时,node1自动切换将自己的ip、hostname、mac地址改成vip1、vman1、 nodevir1;故障恢复后node0自动切换回来,将自己的ip、hostname、mac改成vip1、vman1、nodevir,node1恢 复自身的网络参数
2、当node2的网络出现故障时,node1自动切换将自己的ip、hostname、mac地址改成vip2、vman2、 nodevir2;故障恢复后node0自动切换回来,将自己的ip、hostname、mac改成vip2、vman2、nodevir2,node1 恢复自身的网络参数

二、heartbeat安装(三台node操作一样)

1、安装libnet
[root@node1 ~]# tar -zxvf libnet-1.1.4.tar.gz
[root@node1 ~]# cd libnet-1.1.4
[root@node1 libnet-1.1.4]# ./configure
[root@node1 libnet-1.1.4]# make;make install
#libnet是一个高层次API工具,使用heartbeat需要用到他

2、安装heartbeat
[root@node1 ~]# tar -zxvf heartbeat-2.1.3.tar.gz
[root@node1 ~]# cd heartbeat-2.1.3
[root@node1 heartbeat-2.1.3]# ./ConfigureMe configure --disable-swig --disable-snmp-subagent
[root@node1 heartbeat-2.1.3]# make ; make install
[root@node1 heartbeat-2.1.3]# cp doc/ha.cf doc/haresource doc/anthkeys /etc/ha.d/
[root@node1 heartbeat-2.1.3]# cp ldirectord/ldiretord.cf /etc/ha.d/  
[root@node1 heartbeat-2.1.3]# grouadd -g 694 haclient
[root@node1 heartbeat-2.1.3]# useradd -u 694 -g 694 hacluster
#heartbeat的安装包中默认包含ldirectord插件,该插件主要用于管理负载均衡,为保证ldirectord可用还行安装perl-Mailtools

三、配置

1 node0配置
1.1 创建网络参数修改脚本(/etc/ha.d/resource.d/Remac1)
[root@node0 resource.d]# vim /etc/ha.d/resource.d/Remac1   #Remac1也可存放在/etc/rc.d/init.d目录
#!/bin/bash
#discription : Start Real Server
VMAC=00:1E:68:1E:99:5E
RMAC=00:1E:68:1E:19:5E
GATEWAY=192.168.32.254
. /etc/rc.d/init.d/functions
case "$1" in
  start)
  echo "Replace eth0's Real Mac addr to Virtual Mac addr"
  /sbin/ifconfig eth0 down
  /sbin/ifconfig eth0 hw ether $VMAC
  /sbin/ifconfig eth0 up
  /sbin/ifconfig eth0 192.168.32.21 broadcast 192.168.32.255 netmask 255.255.255.0
  /bin/hostname nodevir
  /sbin/route add default gw $GATEWAY
  ;;
  stop)
echo "Restore eth0's Real Mac addr"
  /sbin/ifconfig eth0 down
  /sbin/ifconfig eth0 hw ether $RMAC
  /sbin/ifconfig eth0 up
  /sbin/ifconfig eth0 192.168.32.31 broadcast 192.168.32.255 netmask 255.255.255.0
  /bin/hostname node1
  /sbin/route add default gw $GATEWAY
  ;;
  *)
  echo "Usage : $0 {start|stop}"
  exit 1
esac

1.2 heartbeat主配置文件(/etc/ha.d/ha.cf)
[root@node1 ha.d]# vim /etc/ha.d/ha.cf
#debugfile /var/log/ha-debug 
logfile /var/log/ha-log  
#指名heartbeat的日志存放位置。
#crm yes    
#是否开启Cluster Resource Manager(集群资源管理)功能。 
bcast eth1  
#指明心跳使用以太网广播方式,并且是在eth1接口上进行广播。 
keepalive 2
#指定心跳间隔时间为2秒(即每两秒钟在eth1上发送一次广播)。 
deadtime 60
#指定备用节点在30秒内没有收到主节点的心跳信号后,则立即接管主节点的服务资源。 
warntime 20
#指定心跳延迟的时间为十秒。当10秒钟内备份节点不能接收到主节点的心跳信号时,就会往日志中写入一个警告日志,但此时不会切换服务。 
initdead 240 
#在某些系统上,系统启动或重启之后需要经过一段时间网络才能正常工作,该选项用于解决这种情况产生的时间间隔。取值至少为deadtime的两倍。  
udpport 694   #设置广播通信使用的端口,694为默认使用的端口号。 
#baud 19200    #设置串行通信的波特率。 
#serial /dev/ttyS0   #选择串行通信设备,用于双机使用串口线连接的情况。如果双机使用以太网。 
#ucast eth0 192.168.1.2 #采用网卡eth1的udp单播来组织心跳,后面跟的IP地址应为双机对方的IP地址。
#mcast eth0 225.0.0.1 694 1 0 #采用网卡eth0的Udp多播来组织心跳,一般在备用节点不止一台时使用。Bcast、ucast和mcast分别代表广播、单播和多播,是组织心跳的三种方式,任选其一即可。
auto_failback on
#用来定义当主节点恢复后,是否将服务自动切回,heartbeat的两台主机分别为主节点和备份节点。主节点在正常情况下占用资源并运行所有 的服务,遇到故障时把资源交给备份节点并由备份节点运行服务。在该选项设为on的情况下,一旦主节点恢复运行,则自动获取资源并取代备份节点,如果该选项 设置为off,那么当主节点恢复后,将变为备份节点,而原来的备份节点成为主节点。 
#stonith baytech /etc/ha.d/conf/stonith.baytech  
# stonith的主要作用是使出现问题的节点从集群环境中脱离,进而释放集群资源,避免两个节点争用一个资源的情形发生。保证共享数据的安全性和完整性。 

#watchdog /dev/watchdog
#该选项是可选配置,是通过Heartbeat来监控系统的运行状态。使用该特性,需要在内核中载入"softdog"内核模块,用来生成实际的设备文件,
如果系统中没有这个内核模块,就需要指定此模块,重新编译内核。编译完成输入"insmod softdog"加载该模块。然后输入"grep misc /proc/devices"(应为10),输入"cat /proc/misc |grep watchdog"(应为130)。最后,生成设备文件:"mknod /dev/watchdog c 10 130" 。即可使用此功能。
node node0   #主节点主机名,可以通过命令“uanme –n”查看。 
node node1   #备用节点主机名。 
ping 192.168.32.254
#选择ping的节点,ping 节点选择的越好,HA集群就越强壮,可以选择固定的路由器作为ping节点,但是最好不要选择集群中的成员作为ping节点,ping节点仅仅用来测试网络连接。 
ping_group group1 192.168.12.251 192.168.12.239   #类似于ping。 
#respawn hacluster /usr/local/ha/lib/heartbeat/ipfail 
#apiauth pingd gid=haclient uid=hacluster
apiauth pingd gid=root uid=root
respawn hacluster /usr/local/ha/lib/heartbeat/pingd -m 100 -d 5s
#该选项是可选配置,列出与heartbeat一起启动和关闭的进程,该进程一般是和heartbeat集成的插件,这些进程遇到故障可以自动 重新启动。最常用的进程是pingd,此进程用于检测和监控网卡状态,需要配合ping语句指定的ping node来检测网络的连通性。其中hacluster表示启动pingd进程的身份。
#下面的配置是关键,也就是激活crm管理,开始使用v2 style格式 
crm respawn  
#注意,还可以使用crm yes的写法,但这样写的话,如果后面的cib.xml配置有问题 
#会导致heartbeat直接重启该服务器,所以,测试时建议使用respawn的写法 
#下面是对传输的数据进行压缩,是可选项 
compression     bz2 
compression_threshold 2 
#注意,v2 style不支持ipfail功能,须使用pingd代替 

1.3 资源文件(/etc/ha.d/haresources)
[root@node0 ha.d]# vim /etc/ha.d/haresources
node0 Remac1   

#haresources文件用于指定双机系统的主节点、集群IP、子网掩码、广播地址以及启动的服务等集群资源,文件每一行可以包含一个或多个资源脚本名,资源之间使用空格隔开,参数之间使用两个冒号隔开,在两个HA节点上该文件必须完全一致,此文件的一般格式为:
node-name network  <resource-group>

#node-name表示主节点的主机名,必须和ha.cf文件中指定的节点名一致,network用于设定集群的IP地址、子网掩码、网络设 备标识等,需要注意的是,这里指定的IP地址就是集群对外服务的IP地址,resource-group用来指定需要heartbeat托管的服务,也就 是这些服务可以由heartbeat来启动和关闭,如果要托管这些服务,必须将服务写成可以通过start/stop来启动和关闭的脚步,然后放到 /etc/init.d/或者/etc/ha.d/resource.d/目录下,heartbeat会根据脚本的名称自动去/etc/init.d或者 /etc/ha.d/resource.d/目录下找到相应脚步进行启动或关闭操作。

#LSB: Linux标准脚本文件(init script),通常放在/etc/init.d/目录下,heartbeat1.x版本之前的管理脚本一半放在/etc/ha.d /resource.d,在这里是/usr/local/ha/etc/ha.d/resource.d
OCF:Open Cluster Framework,默认放在/usr/lib/resource.d/heartbeat/目录下;在这里是/usr/local/ha/etc/ha.d/resource.d

#下面介绍一下ocf和lsb格式的区别:
LSB格式的脚本必须支持status功能,必须能接收start,stop,status,三个参数;而如果是OCF格式,则必须支持start,stop,monitor三个参数.其中status和monitor参数是用来监控资源的,非常重要.
例如LSB风格的脚本,运行./Mysql status时候, 返回值包含OK或则running则表示资源正常,返回值包含stopped或者No则表示资源不正常。 假如是OCF风格的脚本,运行./Mysql monitor时候, 返回0表示资源是正常的, 返回7表示资源出现问题.

#下面对配置方法进行具体说明:
node1 IPaddr::192.168.60.200/24/eth0/  Filesystem::/dev/sdb5::/webdata::ext3  httpd tomcat

#其中,node1是HA集群的主节点,IPaddr为heartbeat自带的一个执行脚步,heartbeat首先将执行/etc/ha.d/resource.d/IPaddr 192.168.60.200/24 start的操作,也就是虚拟出一个子网掩码为255.255.255.0,IP为192.168.60.200的地址,此IP为heartbeat对外提供服务的网络地址,同时指定此IP使用的网络接口为eth0,接着,heartbeat将执行共享磁盘分区的挂载操作,“Filesystem::/dev/sdf1::/data1::ext3”相当于在命令行下执行mount操作,即“mount –t ext3 /dev/sdf1 /data1”,最后依次启动httpd和tomcat服务。

1.4 认证文件(/etc/ha.d/authkeys)
[root@node0 resource.d]# vim /etc/ha.d/authkeys
auth 1
1 crc
#2 sha1 HI!
#3 md5 Hello!

#authkeys文件用于设定heartbeat的认证方式,共有三种可用的认证方式:crc、md5和sha1,三种认证方式的安全性依次提高,但是占用的系统资源也依次增加。如果heartbeat集群运行在安全的网络上,可以使用crc方式,如果HA每个节点的硬件配置很高,建议使用sha1,这种认证方式安全级别最高,如果是处于网络安全和系统资源之间,可以使用md5认证方式。这里我们使用crc认证方式,设置如下:
auth 1 
1 crc 
#2 sha1 sha1_any_password 
#3 md5 md5_any_password
#需要说明的一点是:无论auth后面指定的是什么数字,在下一行必须作为关键字再次出现,例如指定了“auth 6”,下面一定要有一行“6 认证类型”。最后确保这个文件的权限是600(即-rw-------)。

2 node1配置
2.1 创建网络参数修改脚本(/etc/ha.d/resource.d/Remac1&2)
[root@node1 ~]# vim /etc/ha.d/resource.d/Remac1    #备份node0的网络参数修改脚本
#!/bin/bash
#discription : Start Real Server
VMAC=00:1E:68:1E:99:5E 
RMAC=00:1E:68:1E:19:5E                              #注意:与node0中Remac1中RMAC不一样
GATEWAY=192.168.32.254
. /etc/rc.d/init.d/functions
case "$1" in
  start)
  echo "Replace eth0's Real Mac addr to Virtual Mac addr"
  /sbin/ifconfig eth0 down
  /sbin/ifconfig eth0 hw ether $VMAC
  /sbin/ifconfig eth0 up
  /sbin/ifconfig eth0 192.168.32.21 broadcast 192.168.32.255 netmask 255.255.255.0
  /bin/hostname nodevir
  /sbin/route add default gw $GATEWAY
  ;;
  stop)
echo "Restore eth0's Real Mac addr"
  /sbin/ifconfig eth0 down
  /sbin/ifconfig eth0 hw ether $RMAC
  /sbin/ifconfig eth0 up
  /sbin/ifconfig eth0 192.168.32.31 broadcast 192.168.32.255 netmask 255.255.255.0
  /bin/hostname node1
  /sbin/route add default gw $GATEWAY
  ;;
  *)
  echo "Usage : $0 {start|stop}"
  exit 1
esac


[root@node1 ~]# cat /etc/ha.d/resource.d/Remac2   #备份node2的网络参数修改脚本
#!/bin/bash
#discription : Start Real Server
VMAC=00:1E:68:1E:88:5E
RMAC=00:1E:68:1E:19:5E                            #注意:与node中Remac1中RMAC不一样
GATEWAY=192.168.32.254
. /etc/rc.d/init.d/functions
case "$1" in
  start)
  echo "Replace eth0's Real Mac addr to Virtual Mac addr"
  /sbin/ifconfig eth0 down
  /sbin/ifconfig eth0 hw ether $VMAC
  /sbin/ifconfig eth0 up
  /sbin/ifconfig eth0 192.168.32.22 broadcast 192.168.32.255 netmask 255.255.255.0
  /bin/hostname nodevir2
  /sbin/route add default gw $GATEWAY
  ;;
  stop)
echo "Restore eth0's Real Mac addr"
  /sbin/ifconfig eth0 down
  /sbin/ifconfig eth0 hw ether $RMAC
  /sbin/ifconfig eth0 up
  /sbin/ifconfig eth0 192.168.32.31 broadcast 192.168.32.255 netmask 255.255.255.0 
  /bin/hostname node1
  /sbin/route add default gw $GATEWAY
  ;;
  *)
  echo "Usage : $0 {start|stop}"
  exit 1
esac

2.2 主配置文件(/etc/ha.d/ha.cf)
[root@node1 ~]# vim /etc/ha.d/ha.cf
debugfile /var/log/ha-debug
logfile /var/log/ha-log
logfacility     local0
keepalive 2
deadtime 60
warntime 20
initdead 240
udpport 694
auto_failback on
node    node0            #主node0,排列顺序越靠前越优先
node    node2            #主node2
node    node1            #备node1 
ping 192.168.32.254
respawn root /usr/lib/heartbeat/ipfail
apiauth ipfail gid=root uid=root
deadping 60
#注意:由于修改网络参数需要重启网卡,需要大量的时间,所以在此将所有时间参数设置比较长。

2.3 资源文件(/etc/ha.d/haresource)
[root@node1 ~]# cat /etc/ha.d/haresources
node0 Remac1
node2 Remac2
#备份nod0用Remac1脚本,备份node2用Remac2脚本

2.4 认证文件(/etc/ha.d/authkeys)
同node0

3 node2配置
3.1 创建网络参数修改脚本(/etc/ha.d/resource.d/Remac2)
[root@node2 ~]# cat /etc/ha.d/resource.d/Remac2 
#!/bin/bash
#discription : Start Real Server
VMAC=00:1E:68:1E:88:5E
RMAC=00:1E:68:1E:16:7E
GATEWAY=192.168.32.254
. /etc/rc.d/init.d/functions
case "$1" in
  start)
  echo "Replace eth0's Real Mac addr to Virtual Mac addr"
  /sbin/ifconfig eth0 down
  /sbin/ifconfig eth0 hw ether $VMAC
  /sbin/ifconfig eth0 up
  /sbin/ifconfig eth0 192.168.32.22 broadcast 192.168.32.255 netmask 255.255.255.0
  /bin/hostname nodevir2
  /sbin/route add default gw $GATEWAY
  ;;
  stop)
echo "Restore eth0's Real Mac addr"
  /sbin/ifconfig eth0 down
  /sbin/ifconfig eth0 hw ether $RMAC
  /sbin/ifconfig eth0 up
  /sbin/ifconfig eth0 192.168.32.32 broadcast 192.168.32.255 netmask 255.255.255.0
  /bin/hostname node2
  /sbin/route add default gw $GATEWAY
  ;;
  *)
  echo "Usage : $0 {start|stop}"
  exit 1
esac

3.2 主配置文件(/etc/ha.d/ha.cf)
[root@node1 ~]# vim /etc/ha.d/ha.cf
debugfile /var/log/ha-debug
logfile /var/log/ha-log
logfacility     local0
keepalive 2
deadtime 60
warntime 20
initdead 240
udpport 694
auto_failback on
node    node2            #主node2,排列顺序越靠前越优先
node    node1            #备node1 
ping 192.168.32.254
respawn root /usr/lib/heartbeat/ipfail
apiauth ipfail gid=root uid=root
deadping 60
#注意:由于修改网络参数需要重启网卡,需要大量的时间,所以在此将所有时间参数设置比较长。

3.3 资源文件(/etc/ha.d/haresource)
[root@node1 ~]# cat /etc/ha.d/haresources
node2 Remac2

3.4 认证文件(/etc/ha.d/authkeys)
同node0

四、测试heartbeat的高可用功能

    如何才能得知HA集群是否正常工作,模拟环境测试是个不错的方法,在把Heartbeat高可用性集群放到生产环境中之前,需要做如下几个步骤的测试,从而确定HA是否正常工作:
1 正常关闭和重启主节点的heartbeat
  首先在主节点node1上执行“service heartbeat stop”正常关闭主节点的Heartbeat进程,此时通过ifconfig命令查看主节点网卡信息,正常情况下,应该可以看到主节点已经释放了集群的 服务IP地址,同时也释放了挂载的共享磁盘分区,然后查看备份节点,现在备份节点已经接管了集群的服务IP,同时也自动挂载上了共享的磁盘分区。
   在这个过程中,使用ping命令对集群服务IP进行测试,可以看到,集群IP一致处于可通状态,并没有任何延时和阻塞现象,也就是说在正常关闭主节点的情况下,主备节点的切换是无缝的,HA对外提供的服务也可以不间断运行。
   接着,将主节点heartbeat正常启动,heartbeat启动后,备份节点将自动释放集群服务IP,同时卸载共享磁盘分区,而主节点将再次接管集 群服务IP和挂载共享磁盘分区,其实备份节点释放资源与主节点绑定资源是同步进行的。因而,这个过程也是一个无缝切换。

2  在主节点上拔去网线
   拔去主节点连接公共网络的网线后,heartbeat插件ipfail通过ping测试可以立刻检测到网络连接失败,接着自动释放资源,而就在此时,备用节点的ipfail插件也会检测到主节点出现网络故障,在等待主节点释放资源完毕后,备用节点马上接管了集群资源,从而保证了网络服务不间断持续运行。
   同理,当主节点网络恢复正常时,由于设置了“auto_failback on”选项,集群资源将自动从备用节点切会主节点。

3 关闭主节点的系统
  在主节点拔去电源后,备用节点的heartbeat进程会立刻收到主节点已经shutdown的消息,备用节点就开始进行资源的接管,这种情况其实和主节点网络故障的现象类似。

4 让主节点系统内核崩溃
  当主节点系统崩溃后,网络也就失去了响应,那么备用节点的heartbeat进程就会立刻检测到主节点网络故障,然后进行资源切换,但是由于主节点系统内 核崩溃,导致自身不能卸载所占有的资源,例如共享磁盘分区、集群服务IP等,那么此时如果没有类似Stonith设备的话,就会出现资源争用的情况,但是 如果有Stonith备,Stonith设备会首先将故障的主节点电源关闭或者重启此节点等操作,这样就让主节点释放了集群资源,当Stonith设备 完成所有操作时,备份节点才拿到接管主节点资源的所有权,从而接管主节点的资源。
(责任编辑:IT)
------分隔线----------------------------
栏目列表
推荐内容