linux lvs集群nat模式（比上一篇的lvs nat实用）

这是一篇以apcache服务为例介绍lvs的nat模式配合keepalived实现的方案。实验拓扑图如下所示，虚线上面的大图可以看成是虚线下面“服务器群”的放大版：



本实验共用到4台linux虚拟服务器，其中两台rhel5.6作为主从HA（keepalived）服务器，另外两台rhel4.6模拟Apache服务器——用两台Apache服务器模拟多台Apache服务器。
实验原理是，用Apache服务器为代表模拟实际用到的服务器，用两台Apache模拟多台Apache，所有的Apache服务器均采用轮询机制提供服务，当其中一台Apache有故障将被自动剔除集群。当主HA宕机，从HA自动变成主HA继续提供服务，也就是这两台HA服务器（keepalived服务）同时只允许一台HA在线服务，另外一台作为备胎，此时的HA做为分发器使用，其上面配有两个虚拟ip地址，一个是公有虚拟ip（这里用10.10.16.143作为公有虚拟ip）——遥远的用户要访问本公司的网站就输入这个地址，一个是私有虚拟ip（这里用192.168.65.143作为私有虚拟ip）——集群里面的各Apache服务器的网关地址就是这个ip。
实验过程：

记得先搭建realserver（也就是Apache）服务器，再搭建keepalived服务器，这样在keepalived服务器上安装ipvsadm软件包时就不需要再次编译就可以监控到realserver地址
搭建RS1的Apache服务器
在realserver服务器的操作比较简单
#yum install httpd
#chkconfig --level 35 httpd on
#echo "RS1 192.168.65.133" > /var/www/html/index.html
#echo "ok" > /var/www/html/check.html
#service httpd start
到这里RS1配置完成。

搭建RS2的Apache服务器
#yum install httpd

#chkconfig --level 35 httpd on#echo "RS2 192.168.65.130" > /var/www/html/index.html#echo "ok" > /var/www/html/check.html#service httpd start到这里RS2配置完成。
3.搭建主HA服务器
不论是主从HA都添加两块网卡（eth0、eth1）

[root@HA_master ~]# ifconfig eth0

eth0 Link encap:Ethernet HWaddr 00:0C:29:03:54:66
inet addr:10.10.16.29 Bcast:10.10.16.255 Mask:255.255.255.0

[root@HA_master ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth1
# Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE]
DEVICE=eth1
BOOTPROTO=static
IPADDR=192.168.65.11
NETWORK=192.168.65.0
NETMASK=255.255.255.0
BROADCAST=192.168.65.255
ONBOOT=yes
HWADDR=00:0c:29:03:54:70
[root@HA_master ~]# service iptables stop
[root@HA_master ~]# setenforce 0
[root@HA_master ~]# yum install gcc gcc-c++ openssl-devel kernel-devel -y
[root@HA_master ~]# tar zxf keepalived-1.1.20.tar.gz
[root@HA_master ~]# cd keepalived-1.1.20
[root@HA_master ~]# ./configure --sysconfdir=/etc --with-kernel-dir=/usr/src/kernels/2.6.18-238.el5-i686/
[root@HA_master ~]# make &&make install
[root@HA_master ~]# cp /usr/local/sbin/keepalived /usr/sbin
[root@HA_master ~]# genhash -s 192.168.65.133 -p 80 -u /check.html ####算出RS1的哈希值，将该值复制到keepalived配置文件对应的path下面
MD5SUM = eff5bc1ef8ec9d03e640fc4370f5eacd
[root@HA_master ~]# genhash -s 192.168.65.130 -p 80 -u /check.html ####算出RS1的哈希值，将该值复制到keepalived配置文件对应的path下面
MD5SUM = eff5bc1ef8ec9d03e640fc4370f5eacd
在从HA服务器上分别做这两个realserver的哈希值和在主的上面是一样的，由于在两台realserver的Apache的/var/www/html目录下的check.html文件内容是一样的（都是“ok”），所以两个哈希值也是一样的。
[root@HA_master ~]# cp keepalived.conf keepalived.conf_bak
[root@HA_master ~]# vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
notification_email {
admin@xiaowei.com
}
notification_email_from admin@xiaowei.com
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}

vrrp_instance apache_1 {
state MASTER
interface eth0
virtual_router_id 22
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1234
}
virtual_ipaddress {
10.10.16.143
}
}

vrrp_instance apache_2 {
state MASTER
interface eth1
virtual_router_id 22
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1234
}
virtual_ipaddress {
192.168.65.143
}
}

virtual_server 10.10.16.143 80 {
delay_loop 6
lb_algo rr
lb_kind NAT
nat_mask 255.255.255.0
persistence_timeout 0 ####默认的连接持续时间是50秒，即一个连接在不做任何操作的50秒后会断开操作，这里为了实验轮询的更明显，将50秒改成0秒，实际生产中建议将该值改大一点，比如改成300秒
protocol TCP

real_server 192.168.65.133 80 {
weight 1
HTTP_GET {
url {
path /check.html
digest eff5bc1ef8ec9d03e640fc4370f5eacd ####将上面对192.168.65.133做的哈希值拷贝到这里
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}

real_server 192.168.65.130 80 {
weight 1
HTTP_GET {
url {
path /check.html
digest eff5bc1ef8ec9d03e640fc4370f5eacd ####将上面对192.168.65.133做的哈希值拷贝到这里
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}

# real_server 192.168.65.133 80 {
#weight 1
#TCP_CHECK{
# connect_port 80
# connect_timeout 3
# nb_get_retry 3
# delay_before_retry 3
# }
# }
# real_server 192.168.65.130 80 {
#weight 1
#TCP_CHECK{
# connect_port 80
# connect_timeout 3
# nb_get_retry 3
# delay_before_retry 3
#}
# }
}
[root@HA_master ~]# service keepalived start
[root@HA_master ~]# chkconfig --level 35 keepalived on
[root@HA_master ~]# tar zxf ipvsadm-1.24.tar.gz
[root@HA_master ~]# cd ipvsadm-1.24
[root@HA_master ~]# ln -s /usr/src/kernels/2.6.18-238.el5-i686/ /usr/src/linux
[root@HA_master ~]# make &&make install
到这里，ipvsadm命令可以调用出来了，现在用ipvsadm命令查看realserver状态：
[root@HA_master ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 10.10.16.143:80 rr
-> 192.168.65.130:80 Masq 1 0 0
-> 192.168.65.133:80 Masq 1 0 0
输入ipvsadm -ln会自动显示出realserver状态，说明到了这里主HA以及Apache服务器均基本配置完成。还差一步，因为主从HA服务器都安装了两块网卡，要打开HA服务器上面的ipv4包路由功能：
[root@HA_master ~]# cat /etc/sysctl.conf
net.ipv4.ip_forward = 1 ####将该行的0改为1，代表包转发功能打开，用户可以通过这个HA服务器访问到内部的服务器
[root@HA_master ~]# sysctl -p ####输入sysctl -p 使刚才的更改生效
net.ipv4.ip_forward = 1
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 4294967295
kernel.shmall = 268435456
好了，到这里，主HA服务器配置完成。

4.搭建从HA服务器
从HA服务器和主HA服务器配置步骤和内容基本相同
[root@HA_slave ~]# ifconfig eth0
eth0 Link encap:Ethernet HWaddr 00:0C:29:F8:73:52
inet addr:10.10.16.91 Bcast:10.10.16.255 Mask:255.255.255.0
[root@HA_slave ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth1
# Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE]
DEVICE=eth1
BOOTPROTO=static
IPADDR=192.168.65.22
NETWORK=192.168.65.0
NETMASK=255.255.255.0
BROADCAST=192.168.65.255
ONBOOT=yes
HWADDR=00:0c:29:f8:73:5c
[root@HA_slave ~]# service iptables stop[root@HA_slave ~]# setenforce 0[root@HA_slave ~]# yum install gcc gcc-c++ openssl-devel kernel-devel -y[root@HA_slave ~]# tar zxf keepalived-1.1.20.tar.gz [root@HA_slave ~]# cd keepalived-1.1.20[root@HA_slave ~]# ./configure --sysconfdir=/etc --with-kernel-dir=/usr/src/kernels/2.6.18-238.el5-i686/[root@HA_slave ~]# make &&make install[root@HA_slave ~]# cp /usr/local/sbin/keepalived /usr/sbin[root@HA_slave ~]# cp keepalived.conf keepalived.conf_bak可以将主HA的keepalived配置文件直接拷贝到从HA的keepalived配置文件的目录下，然后稍加改动一下：[root@HA_slave ~]# vi /etc/keepalived/keepalived.conf ! Configuration File for keepalived

global_defs {
notification_email {
admin@xiaowei.com
}
notification_email_from admin@xiaowei.com
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}

vrrp_instance apache_1 {
state BACKUP
interface eth0
virtual_router_id 22
priority 98
advert_int 1
authentication {
auth_type PASS
auth_pass 1234
}
virtual_ipaddress {
10.10.16.143
}
}

vrrp_instance apache_2 {
state BACKUP
interface eth1
virtual_router_id 22
priority 98
advert_int 1
authentication {
auth_type PASS
auth_pass 1234
}
virtual_ipaddress {
192.168.65.143
}
}

virtual_server 10.10.16.143 80 {
delay_loop 6
lb_algo rr
lb_kind NAT
nat_mask 255.255.255.0
persistence_timeout 0
protocol TCP

real_server 192.168.65.133 80 {
weight 1
HTTP_GET {
url {
path /check.html
digest eff5bc1ef8ec9d03e640fc4370f5eacd
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}

real_server 192.168.65.130 80 {
weight 1
HTTP_GET {
url {
path /check.html
digest eff5bc1ef8ec9d03e640fc4370f5eacd
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}

#real_server 192.168.65.133 80 {
#weight 1
#TCP_CHECK{
# connect_port 80
# connect_timeout 3
# nb_get_retry 3
# delay_before_retry 3
# }
# }

# real_server 192.168.65.130 80 {
#weight 1
#TCP_CHECK{
# connect_port 80
# connect_timeout 3
# nb_get_retry 3
# delay_before_retry 3
# }
#}
}
[root@HA_slave ~]# service keepalived start[root@HA_slave ~]# chkconfig --level 35 keepalived on[root@HA_slave ~]# tar zxf ipvsadm-1.24.tar.gz [root@HA_slave ~]# cd ipvsadm-1.24[root@HA_slave ~]# ln -s /usr/src/kernels/2.6.18-238.el5-i686/ /usr/src/linux[root@HA_slave ~]# make &&make install[root@HA_slave ~]# cat /etc/sysctl.conf
net.ipv4.ip_forward = 1
[root@HA_slave ~]# sysctl -p
net.ipv4.ip_forward = 1 net.ipv4.conf.default.rp_filter = 1 net.ipv4.conf.default.accept_source_route = 0 kernel.sysrq = 0 kernel.core_uses_pid = 1 net.ipv4.tcp_syncookies = 1 kernel.msgmnb = 65536 kernel.msgmax = 65536 kernel.shmmax = 4294967295 kernel.shmall = 268435456[root@HA_slave ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 10.10.16.143:80 rr
-> 192.168.65.130:80 Masq 1 0 0
-> 192.168.65.133:80 Masq 1 0 0
到这里，从HA服务器配置完成。
下面开始做测试，可以拿另外一台客户机做测试用，这里为了方便就在宿主机的浏览器上和从HA上面做测试操作，因为从HA是备胎不做任何服务。

上图是在宿主机的两个浏览器上访问实验中的“公网虚拟ip”（10.10.16.143）返回的结果，可以看出返回的结果值不一样，表明主HA给连续的http请求做了分发轮询。

上图是在从HA上面用文本浏览器（curl）对“公网虚拟ip”做的访问，从这也可以看出主HA做了轮询。

上图表示，主HA服务器在正常提供服务，从中可以看出，主HA上面的网卡eth0绑定了公网虚拟ip，eth1绑定了私网虚拟ip，当主HA网卡故障或主HA宕机是，这两个虚拟ip又会分别跑到从HA的eth0和eth1上面。
keepalived只能工作在第4层做负载均衡（nginx工作在第7层做负载均衡），keepalived可以对第7层做健康检查，也可以对第4层做健康检查（不管是对第几层做健康检查，lvs只能工作在第4层），这里从开始到现在keepalived用的一直是对7层做健康检查，即通过触发check.html网页文件实现的高可用分发，下面演示当其中一台realserver宕机、网卡损坏或者Apache服务中断，HA服务器会如何选择，实际上HA会把坏的realserver踢出去，实际上keepalived采用对第7层健康检查时，只要realserver出现宕机、网卡损坏、Apache服务停止中的任一种，HA都会把这台realserver服务器踢出去，下面模拟RS1的Apache服务停止的情况：

在HA上面只能监控到一台realserver（也就是RS2），表明RS1被踢出去了，下面用从的HA文本浏览器再次验证RS1已被踢出去：

实验表明，此时，不管用户访问多少次公网虚拟ip，实际上访问的就只是访问RS2这一台机器，因为RS1挂掉了，HA只能分发到RS2这一台了，启动RS1的Apache服务，用户将又可以“同时”访问RS1和RS2了。
现在来描述一下当keepalived对第4层健康检查的情况，分别将上面主从HA的keepalived配置文件的#注释取消，并将相应的对7层健康检查配置代码注释，重启keepalived进行试验，发现，当RS1的Apache服务挂掉时，HA扔将请求分发到RS1上面，同时也将请求分发到RS2上面，当然从RS1返回的是没有结果的，如下图：

此时，如果对4层健康检查的keepalived也想像对7层健康检查的keepalived那样灵敏，可以通过写脚本的方式来实现将RS1踢掉。
ok，到现在为止，lvs的nat模式基于rr算法的高可用配置结束。 ps:可以额外的配置一台dns服务器，将虚拟公网ip对应到公司的网站的域名上面，这样在访问的时候直接输入域名就可以不用输入公网虚拟ip了。