LVS最简集群配置实战

一、LVS简介
LVS是章文嵩博士发起和领导的优秀的集群解决方案，
许多商业的集群产品，比如RedHat的Piranha，TurboLinux公司的Turbo Cluster等，都是基于LVS的核心代码的。
在现实的应用中，LVS得到了大量的部署，请参考 http://www.linuxvirtualserver.org/deployment.html 关于Linux LVS的工作原理和更详细的信息，请参考 http://www.linuxvirtualserver.org。
二、配置实例
本例由两台物理服务器实现;
使用的服务包括有三种:
telnet;
WWW;
图片下载;

1. 网络拓扑结构
如图1所示:
VS1: 192.168.175.44
| |
RS1: 192.168.175.45 RS2: 192.168.175.46

三、服务器硬件配置
首先说明，虽然本文的测试环境中用的是2台相同配置的服务器，但LVS并不要求集群中的服务器规格划一，
相反，可以根据服务器的不同配置和负载情况，调整负载分配策略，充分利用集群环境中的每一台服务器。

这2台服务器中，rs1即是提供服务的服务器，也作为虚拟服务器（即负载平衡服务器），
负责将用户的访问请求转发到集群内部的rs1,rs2，然后由rs1,rs2分别处理。

client为客户端测试机器，可以为任意操作系统。

2台服务器的操作系统和网络配置分别为：
vs1: RedHat 4.1.2-54, Kernel 2.6.18-348.el5
vs1: eth0 192.168.0.1
vs1: eth0:101 192.168.175.44

rs1: Red Hat 4.1.2-54, Kernel 2.6.18-348.el5
rs1: eth0 192.168.175.45
rs1: dummy0 192.168.0.101

rs2: Red Hat 4.1.2-54, Kernel 2.6.18-348.el5
rs2: eth0 192.168.175.46
rs2: dummy0 192.168.0.101

client: Windows xp
client: eth0 10.2.9.99

其中，192.168.175.44是允许用户访问的IP。

四、LVS集群配置
1. 在配置之前，先检查内核是否打了LVS补丁:
如果你使用的是RedHat自带的内核或者从RedHat下载的内核版本，已经预先打好了LVS的补丁。
这可以通过查看
/usr/src/linux/net/目录下有没有几个ipvs开头的文件来判断：
如果有，则说明已经打过补丁。

查看内核中是否已经加载ip_vs模块
[root ~]# lsmod | grep ip_vs

查询内核版本(现在的版本一般都会满足)
[root ~]# uname -r
2.6.18-348.el5

创建链接,将内核模块做软连接至/usr/src/目录下, 并改名为/usr/src/linux/
这样做的好处是，在编译keepalived的时候可以直接找到内核文件，而不用指定内核路径，
如果不做此项操 作，则在编译时需指定内核路径
[root ~]# ln -s /usr/src/kernels/2.6.18-348.el5-x86_64/ /usr/src/linux

2. 对两台物理服务器对建立一个目录来下载文件并安装
[root ~]# mkdir /opt/lvs
[root ~]# cd /opt/lvs

下载 ipvsadm-1.24-8.1.x86_64.rpm 和 piranha-0.8.4-11.x86_64.rpm
到目录 /opt/lvs
[root lvs]# ls
ipvsadm-1.24-8.1.x86_64.rpm piranha-0.8.4-11.x86_64.rpm

安装这两个模块:
方式一: 用rpm模块安装
[root lvs]# rpm -ivh ipvsadm-1.24-8.1.x86_64.rpm
Preparing... ########################################### [100%]
1:ipvsadm ########################################### [100%]
[root lvs]# rpm -ivh piranha-0.8.4-11.x86_64.rpm
error: Failed dependencies:
php is needed by piranha-0.8.4-11.x86_64
[root lvs]# rpm -ivh --nodeps piranha-0.8.4-11.x86_64.rpm
Preparing... ########################################### [100%]
1:piranha ########################################### [100%]

方式二: 用yum安装
先检查下yum是否可用，如果可用，就用yum安装
[root lvs]# yum list
[root lvs]# yum -y install ipvsadm piranha
Loaded plugins: fastestmirror, security
Loading mirror speeds from cached hostfile
...
Total download size: 5.4 M
Downloading Packages:
(1/5): ipvsadm-1.24-13.el5.x86_64.rpm | 34 kB 00:00
(2/5): php-common-5.1.6-43.el5_10.x86_64.rpm | 155 kB 00:17
(3/5): piranha-0.8.4-25.el5_9.1.x86_64.rpm | 717 kB 00:01
(4/5): php-cli-5.1.6-43.el5_10.x86_64.rpm | 2.2 MB 00:00
(5/5): php-5.1.6-43.el5_10.x86_64.rpm | 2.4 MB 00:00
-------------------------------------------------------------------------------------
Total 46 kB/s | 5.4 MB 01:59
Running rpm_check_debug
Running Transaction Test
Finished Transaction Test
Transaction Test Succeeded
Running Transaction
Installing : php-common 1/5
Installing : php-cli 2/5
Installing : php 3/5
Installing : ipvsadm 4/5
Installing : piranha 5/5

Installed:
ipvsadm.x86_64 0:1.24-13.el5 piranha.x86_64 0:0.8.4-25.el5_9.1
Dependency Installed:
php.x86_64 0:5.1.6-43.el5_10 php-cli.x86_64 0:5.1.6-43.el5_10 php-common.x86_64 0:5.1.6-43.el5_10

Complete!

3. 创建虚拟网口:
[root lvs]# cd /etc/sysconfig/network-scripts/
[root network-scripts]# vim ifcfg-lo\:0
DEVICE=lo:0
BOOTPROTO=static
IPADDR=192.168.175.44
NETMASK=255.255.255.255
ONBOOT=yes
ARP=no
【wq】
[root network-scripts]# service network restart

4. 修改系统默认配置:
[root ~]# vim /etc/sysctl.conf
【添加下列字段】
net.ipv4.tcp_max_syn_backlog = 20480
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1
net.core.rmem_max = 16777216
net.core.rmem_default = 16777216
net.core.wmem_max = 16777216
net.core.netdev_max_backlog = 262144
net.core.somaxconn = 262144
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.lo.rp_filter = 0
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_tw_buckets = 1200000
net.ipv4.tcp_max_orphans = 262144
net.ipv4.tcp_rmem = 4096 87380 8388608
net.ipv4.tcp_wmem = 4096 65536 8388608
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_window_scaling = 0
net.ipv4.tcp_sack = 0
net.ipv4.tcp_timestamps = 0
kernel.panic = 5
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.lo.rp_filter = 0
net.ipv4.conf.eth0.rp_filter = 2
【wq】
[root ~]# sysctl -p

5. 修改LVS的配置:
[root ~]# cd /etc/sysconfig/ha/
[root ha]# vim lvs.cf
serial_no = 39
primary = 192.168.175.45
service = lvs
backup_active = 1
backup = 192.168.175.46
heartbeat = 1
heartbeat_port = 539
keepalive = 3
deadtime = 9
network = direct
debug_level = NONE
monitor_links = 0
syncdaemon = 0
virtual XP {
active = 1
address = 192.168.175.44 eth0:1
vip_nmask = 255.255.255.0
port = 80
send = "GET / HTTP/1.0\r\n\r\n"
expect = "HTTP"
use_regex = 0
load_monitor = none
scheduler = wlc
protocol = tcp
timeout = 5
reentry = 5
quiesce_server = 0
server xp1 {
address = 192.168.175.45
active = 1
weight = 1
}
server xp2 {
address = 192.168.175.46
active = 1
weight = 1
}
}
【wq】

6. 在两台物理机上分别启动心跳服务:
[root ~]# service pulse start
Starting pulse: [ OK ]

这时，能在主物理机192.168.175.45上看到负载均衡网卡已启动,
而192.168.175.46上是没有这个网卡的:
[root ~]# ifconfig
eth0 Link encap:Ethernet
inet addr:192.168.175.45
...
eth0:1 Link encap:Ethernet HWaddr D4:3D:7E:70:8E:54
inet addr:192.168.175.44 Bcast:192.168.175.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
Memory:df9a0000-df9c0000

当主物理机的服务关闭时，在192.168.175.46上看到网卡已启动:
[root ~]# ifconfig
eth0 Link encap:Ethernet HWaddr D4:3D:7E:70:8E:54
inet addr:192.168.175.46
...
eth0:1 Link encap:Ethernet HWaddr D4:3D:7E:70:8E:54
inet addr:192.168.175.44 Bcast:192.168.175.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
Memory:df9a0000-df9c0000

7. 查看虚拟服务器状态:
[root ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.175.44:80 wlc
-> 192.168.175.46:80 Route 1 0 0
-> 192.168.175.45:80 Local 1 0 0

将服务设成开机自启动:
[root ~]# chkconfig --level 345 pulse on

三、LVS测试
查看nginx的访问日志:
[root logs]# tail -0f logs/access.log

如果两台机器的访问是交替的，就说明负载均衡生效了；