/etc/keepalived/keepalived.conf代码
-
global_defs {
-
router_id KEEPALIVED_LVS
-
}
-
-
vrrp_sync_group KEEPALIVED_LVS {
-
group {
-
KEEPALIVED_LVS_WEB
-
}
-
}
-
-
vrrp_instance KEEPALIVED_LVS_WEB {
-
state MASTER //注意:如果Keepalived的备机,这里是SLAVE
-
interface eth0
-
lvs_sync_daemon_interface eth0
-
garp_master_delay 5
-
virtual_router_id 100
-
priority 150 //注意:这里是主备的权重,备一般权重低于主
-
advert_int 1
-
authentication {
-
auth_type PASS
-
auth_pass 111111
-
}
-
virtual_ipaddress {
-
10.10.10.10
-
}
-
}
-
-
virtual_server 10.10.10.10 80 {
-
delay_loop 3
-
lb_algo wrr //定义负载均衡算法,这里是权重轮训
-
lb_kind DR //定义模式,这里是Direct route
-
persistence_timeout 0 //会话保存时长(秒),0表示不使用stickyness会话
-
protocol TCP
-
// 后端服务器定义
-
real_server 10.10.10.13 80 {
-
weight 1 //权重
-
//HttpGET 方式验证真实服务有效性
-
HTTP_GET {
-
url {
-
//验证后端服务是否正常的访问地址
-
path /checkRealServerHealth.28055dab3fc0a85271dddbeb0464bfdb
-
//访问地址内容的 MD5 摘,通过对比摘要验证后端服务器是否可用
-
digest 26f11e326fc7c597355f213e5677ae75
-
}
-
connect_timeout 3 //连接超时时间
-
nb_get_retry 3 //重试次数
-
delay_before_retry 3 //每次重试前等待延迟时间
-
}
-
}
-
-
real_server 10.10.10.14 80 {
-
weight 1
-
HTTP_GET {
-
url {
-
path /checkRealServerHealth.28055dab3fc0a85271dddbeb0464bfdb
-
digest 26f11e326fc7c597355f213e5677ae75
-
}
-
connect_timeout 3
-
nb_get_retry 3
-
delay_before_retry 3
-
}
-
}
-
}
注意:调度备机的配置与调度主完全相同,区别在于keepalived.conf配置文件中:state MASTER/SLAVE; priority 150/100
4、后端服务器安装配置
4.1、LVS 客户端安装配置
LVS-DR模式中,后端真实服务器(RealServer)无需安装相关软件,只需要对VIP进行绑定和路由设置等一系列操作,这里整理为一个脚本:lvs_realserver.sh,详细解释如下,完整文件请参见附件。
-
#!/bin/bash
-
# description: Config realserver
-
LVS_VIP=10.10.10.10
-
/etc/rc.d/init.d/functions
-
case "$1" in
-
start)
-
/sbin/ifconfig lo:0 $LVS_VIP netmask 255.255.255.255 broadcast $LVS_VIP
-
/sbin/route add -host $LVS_VIP dev lo:0
-
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
-
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
-
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
-
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
-
sysctl -p >/dev/null 2>&1
-
echo "RealServer Start OK"
-
;;
-
stop)
-
/sbin/ifconfig lo:0 down
-
/sbin/route del $LVS_VIP >/dev/null 2>&1
-
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
-
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
-
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
-
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
-
echo "RealServer Stoped"
-
;;
-
*)
-
echo "Usage: $0 {start|stop}"
-
exit 1
-
esac
-
exit 0
从附件下载该脚本,拷贝到后端真实服务器中,运行:./lvs_realserver.sh start|stop
4.2、MSM-Tomcat安装和配置
后端服务器采用Memcache Session manager + tomcat方式实现集群中会话的同步和复制。
详细配置请参考:APACHE(proxy_ajp_stickysession) + TOMCAT(msm_sticky)实现HA
5、验证
5.1、启动和关闭
调度服务启动:service keepalived start
调度服务关闭:service keepalived stop
后端真实服务启动:
# ./lvs_realserver.sh start
然后在启动tomcat
5.2、调度服务中常用操作
调度服务中查看VIP
[root@hadoop11 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000
link/ether 00:0c:29:9b:12:07 brd ff:ff:ff:ff:ff:ff
inet 10.10.10.11/24 brd 10.10.10.255 scope global eth0
inet 10.10.10.10/32 scope global eth0
inet6 fe80::20c:29ff:fe9b:1207/64 scope link
valid_lft forever preferred_lft forever
3: sit0: <NOARP> mtu 1480 qdisc noop
link/sit 0.0.0.0 brd 0.0.0.0
调度服务中查看转发情况
[root@hadoop11 ~]# ipvsadm -ln --stats
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Conns InPkts OutPkts InBytes OutBytes
-> RemoteAddress:Port
TCP 10.10.10.10:80 0 0 0 0 0
-> 10.10.10.14:80 0 0 0 0 0
-> 10.10.10.13:80 0 0 0 0 0
检查 keepalived 进程
[root@hadoop00 keepalived]# ps aux|grep keepalived
root 6635 0.0 0.1 4352 596 ? Ss 20:30 0:00 keepalived -D
root 6636 0.0 0.2 4396 1332 ? S 20:30 0:00 keepalived -D
root 6638 0.0 0.1 4396 936 ? S 20:30 0:00 keepalived -D
应该有 3 个进程,其中一个是主服务进程,另外两个分别是 checker 子进程和 vrrp 子进程
[root@hadoop00 keepalived]# pstree |grep keepalived
|-keepalived---2*[keepalived]
查看 LVS 内核模块
[root@hadoop11 ~]# lsmod|grep ip_vs
ip_vs_wrr 6977 1
ip_vs_wlc 6081 0
ip_vs 77569 6 ip_vs_wrr,ip_vs_wlc
查看系统日志
因为我在启动 keepalived 是使用了选项 –D , 这将详细的打印日志消息
tail -f /var/log/messages
5.3、效果测试
测试负载均衡转发
分别启动主/备调度和所有后端真实服务,然后在网络内其他机器中打开浏览器访问VIP。
使用Firefox打开:http://10.10.10.10 ,如下:
使用Ctrl+F5强制刷新后,可以看到本次服务是另外一台后端服务。
测试Session会话
使用界面上的Setting Session表单提交一个Session值,然后重新页面,通过LVS分别转发到不同的后端服务器后,查看Show All Session中会话是否同步和复制。
测试后端服务高可用
1、关闭一台后端服务(10.10.10.14),然后通过浏览器反复刷新,查看是否前端一直可用。
2、通过调度上LVS的统计命令查看:
[root@hadoop11 ~]# ipvsadm -ln --stats
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Conns InPkts OutPkts InBytes OutBytes
-> RemoteAddress:Port
TCP 10.10.10.10:80 15 95 0 11365 0
-> 10.10.10.13:80 7 42 0 4676 0
从命令显示情况,可以看出目前服务的后端服务器只有10.10.10.13。重新请求10.10.10.14后从新查看
[root@hadoop11 ~]# ipvsadm -ln --stats
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Conns InPkts OutPkts InBytes OutBytes
-> RemoteAddress:Port
TCP 10.10.10.10:80 15 95 0 11365 0
-> 10.10.10.14:80 0 0 0 0 0
-> 10.10.10.13:80 7 42 0 4676 0
从命令返回可以看出后端服务恢复成两台。
测试调度服务器本身的高可用
1、关闭主调度服务(10.10.10.11)的keepalived服务
// 主调度服务器上操作
[root@hadoop11 ~]# service keepalived stop
Stopping keepalived: [ OK ]
[root@hadoop11 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000
link/ether 00:0c:29:9b:12:07 brd ff:ff:ff:ff:ff:ff
inet 10.10.10.11/24 brd 10.10.10.255 scope global eth0
inet6 fe80::20c:29ff:fe9b:1207/64 scope link
valid_lft forever preferred_lft forever
3: sit0: <NOARP> mtu 1480 qdisc noop
link/sit 0.0.0.0 brd 0.0.0.0
// 备调度服务器上操作
[root@hadoop12 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000
link/ether 00:0c:29:e7:21:09 brd ff:ff:ff:ff:ff:ff
inet 10.10.10.12/24 brd 10.10.10.255 scope global eth0
inet 10.10.10.10/32 scope global eth0
inet6 fe80::20c:29ff:fee7:2109/64 scope link
valid_lft forever preferred_lft forever
3: sit0: <NOARP> mtu 1480 qdisc noop
link/sit 0.0.0.0 brd 0.0.0.0
通过上面的命令可以看出keepalived服务shutdown后,VIP已经浮动到备调度,备调度的keepalived+LVS接管了集群的调度服务。
当然,这个时候可以使用前端浏览器访问VIP测试集群是否可用。
5、常见问题及注意事项
1、LVS+DR模式中,只支持IP的转发,不支持端口转发,也就是说在keepalived.conf的virtual_server和real_server的配置节点中端口必须一样。