LVS-NAT模型实现负载均衡

前言

前篇文章我们主要讲解了LVS的理论知识，包括LVS来源、宗旨、三种模型的架构以及LVS内核空间的十种算法，今天我们来进行实践的LVS中三种模型中的NAT模型的架构以及实现方式。(实验环境以Web集群作为实验对象)

环境

此处我们LVS-NAT模型环境架构为三台Linux服务器,都有以下配置。

环境架构图：

LVS-NAT

工作原理：

基于NAT机制实现。当用户请求到达director之后，director将请求报文的目标地址（即VIP）改成选定的realserver地址，同时将报文的目标端口也改成选定的realserver的相应端口，最后将报文请求发送到指定的realserver。在服务器端得到数据后，realserver将数据返给director，而director将报文的源地址和源端口改成VIP和相应端口，然后把数据发送给用户，完成整个负载调度过程。

特点：

所有的realserver和director要在同一个网段内
RIP是私有地址，仅用于集群节点之间进行通信
director同时处理请求和应答数据包
realserver的网关要指向DIP
可以实现端口映射
readlserver可以是任意操作系统
director很可能成为系统性能瓶颈

硬件环境：

使用软件VMware WorkStation 11，Director的DIP和RealServer的RS1、RS2的RIP为仅主机模式，让其在同一个局域网内，Direcotr桥接宿主机模式，方便我们后边的测试。

一台Director：
- 版本：Red Hat Enterprise Linux Server release 6.4
- 双网卡：
  - eth1: VIP:172.16.21.110/24(真实生产环境下一定将网关指向运营商的公网IP)
  - eth2: DIP:192.168.91.70/24(此IP必须和后台的RealSever在同一个网段内)
两台RealServer：
- 版本：Red Hat Enterprise Linux Server release 6.4
- 单网卡：
  - RealServer1：RIP1:192.168.91.80/24(网关必须指向Director的DIP)
  - RealServer2: RIP2:192.168.91.90/24(网关必须执行Director的DIP)

软件环境：

搭建LVS集群只需要在Director服务器上安装ipvsadmin工具，此处我们使用RedHat自带的rpm包进行安装

版本：ipvsadm-1.25-10.el6.x86_64.rpm

安装前准备

现在LVS已经是Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，无需给内核打任何补丁，可以直接使用LVS提供的各种功能。

注意

LVS-NAT模型的实现方式和iptables的DNAT相似，所以你懂的，Director节点不能和iptables同时使用，那么会有冲突，这就是我们后面为什么要将iptables的规则清空的目的之一。

查看内核版本

[root@Director Packages]# uname -r  # 此处我们环境内核版本为2.6.32-358.el6.x86_64，所以不需要再打补丁，如果你的内核低于2.4那么则需要提前打补丁
2.6.32-358.el6.x86_64

查看内核是否支持ipvs

[root@Director ~]# modprobe -l | grep ipvs  # 以下有之前所解释的十个内核所支持的算法(如果能有以下搜索到那么你的内核就支持ipvs)
kernel/net/netfilter/ipvs/ip_vs.ko
kernel/net/netfilter/ipvs/ip_vs_rr.ko
kernel/net/netfilter/ipvs/ip_vs_wrr.ko
kernel/net/netfilter/ipvs/ip_vs_lc.ko
kernel/net/netfilter/ipvs/ip_vs_wlc.ko
kernel/net/netfilter/ipvs/ip_vs_lblc.ko
kernel/net/netfilter/ipvs/ip_vs_lblcr.ko
kernel/net/netfilter/ipvs/ip_vs_dh.ko
kernel/net/netfilter/ipvs/ip_vs_sh.ko
kernel/net/netfilter/ipvs/ip_vs_sed.ko
kernel/net/netfilter/ipvs/ip_vs_nq.ko
kernel/net/netfilter/ipvs/ip_vs_ftp.ko

配置本地YUM源

我们使用本地光盘来作为YUM源

挂载本地光盘

[root@Director ~]# mount /dev/sr0 /media  # 挂载本地光盘到本地目录
mount: block device /dev/sr0 is write-protected, mounting read-only

配置编辑YUM源的配置文件

三台服务器我们都需要配置，因为后面两台RealServer我们还需要安装web服务来作为集群服务。

[root@Director ~]# vim /etc/yum.repos.d/rhel-source.repo   
[localhost]   # 库名称(可随意)
name=localhost # 名称描述 (自定义)
baseurl=file:///media  # yum源目录，源地址
enabled=1   # 是否用该yum源，0为禁用，1为使用
gpgcheck=0 # 检查GPG-KEY，0为不检查，1为检查

到此我们安装前准备就做好了，来下面进行下一步

配置DirectorServer

安装ipvsadm工具

[root@Director Packages]# yum install -y ipvsadm-1.25-10.el6.x86_64.rpm

配置网卡，并设置IP

配置外网网卡VIP

[root@Director ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth1  # 此处我们不指定GATEWAY(真实生产一定要指向SP给的公网IP)
DEVICE=eth1
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=172.16.21.110
NETMASK=255.255.255.0

配置内网网卡DIP

[root@Director ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth2  # 此内网网卡可不指定GATEWAY,因为和后台RealServer在同一个局域网(但也要根据真实环境而定)
DEVICE=eth2
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.91.70
NETMASK=255.255.255.0

重启网卡服务

[root@Director ~]# service network restart
Shutting down interface eth1:                              [  OK  ]
Shutting down interface eth2:                              [  OK  ]
Shutting down loopback interface:                          [  OK  ]
Bringing up loopback interface:                            [  OK  ]
Bringing up interface eth1:                                [  OK  ]
Bringing up interface eth2:                                [  OK  ]

[root@Director ~]# ifconfig  # 查看配置是否生效
eth1      Link encap:Ethernet  HWaddr 00:0C:29:E5:9A:47  
          inet addr:172.16.21.110  Bcast:172.16.21.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fee5:9a47/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:6126 errors:0 dropped:0 overruns:0 frame:0
          TX packets:4370 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:524154 (511.8 KiB)  TX bytes:753784 (736.1 KiB)

eth2      Link encap:Ethernet  HWaddr 00:0C:29:E5:9A:51  
          inet addr:192.168.91.70  Bcast:192.168.91.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fee5:9a51/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:28 errors:0 dropped:0 overruns:0 frame:0
          TX packets:36 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:4146 (4.0 KiB)  TX bytes:2160 (2.1 KiB)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:822 errors:0 dropped:0 overruns:0 frame:0
          TX packets:822 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:93120 (90.9 KiB)  TX bytes:93120 (90.9 KiB)

打开本机的路由转发功能

[root@Director ~]# cat /proc/sys/net/ipv4/ip_forward   # 查看本地路由功能是否打开(1 开启 0 关闭)
0 
[root@Director ~]# vim /etc/sysctl.conf   # 开启本地路由转发
net.ipv4.ip_forward = 1    将0更改为1即可
[root@Director ~]# sysctl -p  # 重新加载配置文件
net.ipv4.ip_forward = 1
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296

配置RealServer服务器

配置RealServer1网卡，并设置IP

[root@RS1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.91.80
NETMASK=255.255.255.0
GATEWAY=192.168.91.70
NM_CONTROLLED=yes

重启网卡配置

[root@RS1 ~]# service network restart
Shutting down interface eth1:                              [  OK  ]
Shutting down loopback interface:                          [  OK  ]
Bringing up loopback interface:                            [  OK  ]
Bringing up interface eth1:                                [  OK  ]
[root@RS1 ~]# ifconfig  # 查看配置是否生效
eth1      Link encap:Ethernet  HWaddr 00:0C:29:41:4A:CC  
          inet addr:192.168.91.80  Bcast:192.168.91.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe41:4acc/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:5212 errors:0 dropped:0 overruns:0 frame:0
          TX packets:3586 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:435875 (425.6 KiB)  TX bytes:252327 (246.4 KiB)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:129 errors:0 dropped:0 overruns:0 frame:0
          TX packets:129 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:13806 (13.4 KiB)  TX bytes:13806 (13.4 KiB)

安装Web服务

[root@RS1 ~]# yum install -y httpd
[root@RS1 ~]# service httpd start   # 启动httpd服务
Starting httpd: httpd: apr_sockaddr_info_get() failed for RS1
httpd: Could not reliably determine the server's fully qualified domain name, using 127.0.0.1 for ServerName
                                                           [  OK  ]
[root@RS1 ~]# service httpd status   # 查看httpd是否启动
httpd (pid  14114) is running...
[root@RS1 ~]# netstat -an | grep :80  # 查看web服务80端口是否监听
tcp        0      0 :::80                       :::*                        LISTEN    
[root@RS1 ~]# echo "RS1.xuxingzhuang.com" > /var/www/html/index.html  # 给web服务提供网页界面  
[root@RS1 ~]# curl http://localhost # 访问本地web是否可以正常访问
RS1.xuxingzhuang.com

清空本地防火墙策略

[root@RS1 ~]# iptables -F

配置RealServer2网卡，并配置IP

[root@RS2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.91.90
NETMASK=255.255.255.0
GATEWAY=192.168.91.70
NM_CONTROLLED=yes

重启网卡配置

[root@RS2 ~]# service network restart
Shutting down interface eth1:                              [  OK  ]
Shutting down loopback interface:                          [  OK  ]
Bringing up loopback interface:                            [  OK  ]
Bringing up interface eth1:                                [  OK  ]
[root@RS2 ~]# ifconfig  # 查看配置是否生效
eth1      Link encap:Ethernet  HWaddr 00:0C:29:9A:31:FB  
          inet addr:192.168.91.90  Bcast:192.168.91.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe9a:31fb/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:5749 errors:0 dropped:0 overruns:0 frame:0
          TX packets:4646 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:457342 (446.6 KiB)  TX bytes:1052880 (1.0 MiB)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:167 errors:0 dropped:0 overruns:0 frame:0
          TX packets:167 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:17790 (17.3 KiB)  TX bytes:17790 (17.3 KiB)

安装Web服务

[root@RS2 ~]# yum install -y httpd
[root@RS2 ~]# service httpd start   # 启动httpd服务
Starting httpd: httpd: apr_sockaddr_info_get() failed for RS1
httpd: Could not reliably determine the server's fully qualified domain name, using 127.0.0.1 for ServerName
                                                           [  OK  ]
[root@RS2 ~]# service httpd status  # 查看httpd是否启动
httpd (pid  2069) is running...
[root@RS1 ~]# netstat -an | grep :80  # 查看web服务80端口是否监听
tcp        0      0 :::80                       :::*                        LISTEN    
[root@RS2 ~]# echo "RS2.xuxingzhuang.com" > /var/www/html/index.html  # 给web服务提供网页界面  
[root@RS2 ~]# curl http://localhost # 访问本地web是否可以正常访问
RS2.xuxingzhuang.com

清空本地防火墙策略

[root@RS2 ~]# iptables -F

配置Director，并将RealServer加入集群服务

ipvsadm命令的用法

管理集群服务

添加：
- -A -t|u|f service-address [-s scheduler]
- -t: TCP协议的集群
- -u: UDP协议的集群
  - service-address: IP:PORT
- -f: FWM: 防火墙标记
  - service-address: Mark Number
修改：
- -E
删除：
- -D -t|u|f service-address

管理集群服务中的RealServer

添加：
- -a -t|u|f service-address -r server-address [-g|i|m] [-w weight]
- -t|u|f service-address：事先定义好的某集群服务
- -r server-address: 某RS的地址，在NAT模型中，可使用IP：PORT实现端口映射；
- [-g|i|m]: LVS类型
- -g: DR
- -i: TUN
- -m: NAT
- [-w weight]: 定义服务器权重
修改：
- -e
删除：
- -d -t|u|f service-address -r server-address

集群服务后续管理

查看
- -L|l
- -n: 数字格式显示主机地址和端口
- –stats：统计数据
- –rate: 速率
- –timeout: 显示tcp、tcpfin和udp的会话超时时长
- -c: 显示当前的ipvs连接状况例：ipvsadm -L -n –stats
删除所有集群服务
- -C：清空ipvs规则例：ipvsadm -C
保存规则
- -S 例： ipvsadm -S > /etc/sysconfig/ipvsadm
载入此前的规则：
- -R 例：ipvsadm -R < /etc/sysconfig/ipvsadm

测试Director是否可以正常访问Realserver的服务

注意问题

访问后台的RealServer服务我们此时使用的为Driector的DIP进行访问的，当我们将RealServer加入集群服务后，我们clent要实现访问Driector的VIP来进行访问RealServer的服务，务必要明白此问题。

[root@Director ~]# curl http://192.168.91.80  #看来我们Driector访问后台web服务都正常
RS1.xuxingzhuang.com
[root@Director ~]# curl http://192.168.91.90
RS2.xuxingzhuang.com

将RealServer加入Web集群服务

我们本次使用LVS内核rr调度算法来作为实验方式，还不明白LVS的内核调度算法的小伙伴，请查看我们上一篇LVS集群服务详解

使用rr调度算法(轮叫)

[root@Director ~]# ipvsadm -A -t 172.16.21.110:80 -s rr
[root@Director ~]# ipvsadm -a -t 172.16.21.110:80 -r 192.168.91.80 -m -w 2   # 此处的-w指定权重是没有意义的，因为我们使用的为rr调度算法(轮叫),不过你也可以指定，后边我们改变算法时就不用重新定义了，省去了时间
[root@Director ~]# ipvsadm -a -t 172.16.21.110:80 -r 192.168.91.90 -m -w 1
[root@Director ~]# ipvsadm -L -n   # 查看集群服务
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.16.21.110:80 rr
  -> 192.168.91.80:80             Masq    2      0          0         
  -> 192.168.91.90:80             Masq    1      0          0

测试web集群服务rr算法

使用本机进web测试，要和Director的VIP在同一个网段，那么真实环境你就只要将网关指向运营商给的公网地址就可以了。

LVS-NAT rr算法测试网页

测试结果为刷新一次，那么就会换成RS2，明白rr(轮叫)算法的小伙伴你懂的，这里就不多少了

更改为wrr调度算法(加权循环算法)

[root@Director ~]# ipvsadm -E -t 172.16.21.110:80 -s wrr  #那么此处我们使用-E选项来修改为调度算法为wrr，那么前边-w选项指定RealServer的权重就生效了，那么我们就不用再对RealServer重新指定了
[root@Director ~]# ipvsadm -L -n  
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.16.21.110:80 wrr
  -> 192.168.91.80:80             Masq    2      0          0         
  -> 192.168.91.90:80             Masq    1      0          0

测试web集群服务wrr算法

此处访问那么算法就根据我们指定了RS1权重为2，RS2的权重为1，那么最后我们访问的结果为刷新两次访问RS1，一个访问RS2。

END

到这里我们就基于LVS-NAT模型搭建了一个web集群服务，这里我们就测试了两种LVS的内核调度算法，对于其他的八种算法配置基本一样，主要是看我们是否可以进行理解，配置都一样，后边我们将讲解LVS-DR模型的LVS集群服务的实现过程。

(责任编辑：IT)

搜索

热门标签:

LVS-NAT模型实现负载均衡

前言

环境

环境架构图：

工作原理：

特点：

硬件环境：

软件环境：

安装前准备

查看内核版本

查看内核是否支持ipvs

配置本地YUM源

挂载本地光盘

配置编辑YUM源的配置文件

配置DirectorServer

安装ipvsadm工具

配置网卡，并设置IP

配置外网网卡VIP

配置内网网卡DIP

重启网卡服务

打开本机的路由转发功能

配置RealServer服务器

配置RealServer1网卡，并设置IP

重启网卡配置

安装Web服务

清空本地防火墙策略

配置RealServer2网卡，并配置IP

重启网卡配置

安装Web服务

清空本地防火墙策略

配置Director，并将RealServer加入集群服务

ipvsadm命令的用法

管理集群服务

管理集群服务中的RealServer

集群服务后续管理

测试Director是否可以正常访问Realserver的服务

将RealServer加入Web集群服务

使用rr调度算法(轮叫)

测试web集群服务rr算法

更改为wrr调度算法(加权循环算法)

测试web集群服务wrr算法

END