负载均衡之LVS学习小结

负载均衡的解决方案有硬件解决方案和软件解决方案。主流的硬件解决方案是：
F5 BIG-IP
Citrix Netscalar
A10 A10
Array
Redware
LVS(Linux Virtual Server)是工作在网络四层交换或路由软件解决方案。它通过内核框架模块ipvs及配置在该框架之上的一组规则来实现交换或路由。ipvsadm则是配置路由规则的工具。ipvs基于内核的netfilter框架模块，工作在其INPUT链上，将到达INPUT链的需要转发的包路由至Real Server。因此，ipvs功能会与netfilter的filter和nat表的功能有冲突。最好不要在部署了ipvs规则的主机上配置iptables的filter和nat规则。LVS有四种模型：NAT, DR, TUN, FULLNAT。
NAT模型的特征：
1. RS应该使用私有地址。
2. RS的网关必须指向Director的DIP。
3. RS的RIP和DIP必须在同一网段内。
4. 请求和响应的报文都经过Director，在高负载的场景中，Director可能成为系统性能瓶颈。
5. 支持端口映射。
6. RS可以使用任意支持集群服务的操作系统。

DR模型的特征：
1. RS可以使用私有地址，也可以使用公网地址。
2. RS的网关一定不能指向DIP
3. RS和Director要在同一物理网络内（不能有路由器分割）
4. 请求报文经过Director，但响应报文一定不经过Director
5. 不支持端口映射
6. RS可以使用大多数的操作系统

TUN模型的特征：
1. RIP、DIP和VIP都必须是公网地址
2. RS的网关一定不会指向DIP
3. 请求报文经过Director，但响应报文一定不经过Director
4. 不支持端口映射
5. RS的操作系统必须支持IP隧道技术

LVS支持的10种调度策略

静态策略
rr: Round Robin

wrr: Weight Round Robin

sh: Source Hashing

dh: Destination Hashing

动态策略

lc: Least Connection Overhead=Active*256+Inactive，选择负载值最小进行调度。

wlc: Weight Least Connection Overhead=(Active*256+Inactive)/weight

sed: Shortest Expect Delay Overhead=(Active+1)*256/weight

nq: Nerver Queue

lblc: Locality-based Least Connection dh+lc

lblcr: Replicated and Locality-based Least Connection

Session持久机制

session绑定：始终将同一个请求者的连接定向至同一个RS（第一次请求时仍由调度方法选择）；没有容错能力，有损均衡效果。

session复制：在RS之间同步session，因此，每个RS持集群中所有的session；对于大规模集群环境不适用。

session服务器：利用单独部署的服务器来统一管理session。

ipvs命令工具常用选项和参数

集群服务相关

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask]
ipvsadm -D -t|u|f service-address
ipvsadm -C
-A: 添加一个集群服务
-t: tcp
-u: udp
-f: firewall mark，通常用于将两个或以上的服务绑定为一个服务进行处理时使用；
service-address:
-t IP:port
-u ip:port
-f firewall_mark
-s 调度方法，默认为wlc
-p timeout: persistent connection, 持久连接

-E：修改定义过的集群服务
-D -t|u|f service-address：删除指定的集群服务

RS相关

ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight] [-x upper] [-y lower]
ipvsadm -d -t|u|f service-address -r server-address
-a：向指定的CS中添加RS
-t|-u|-f service-address：指明将RS添加至哪个Cluster Service中
-r: 指定RS，可包含{IP[:port]}，只有支持端口映射的LVS类型才允许此处使用跟集群服务中不同的端口
LVS类型：
-g: Gateway, DR
-i: ipip, TUN
-m: masquerade, NAT
-e: 修改指定的RS属性
-d -t|u|f service-address -r server-address：从指定的集群服务中删除某RS

保存规则：(使用输出重定向)

ipvsadm-save
ipvsadm -S

载入指定的规则：（使用输入重定向）

ipvsadm -R
ipvsadm-restore

查看ipvs规则

-L [options]
-n: 数字格式显示IP地址
-c: 显示连接数相关信息
--stats: 显示统计数据
--rate: 速率
--exact：显示统计数据的精确值

LVS持久连接

PCC：将来自于同一个客户端发往VIP的所有请求统统定向至同一个RS。
PPC：将来自于一个客户端发往某VIP的某端口的所有请求统统定向至同一个RS。
PFMC: 端口绑定，port affinity。基于防火墙标记，将两个或以上的端口绑定为同一个服务。
举例：
# iptables -t mangle -A PREROUTING -d VIP -p tcp --dport CS_Port -j MARK --set-mark num (num取0-99之间的值)
# ipvsadm -A -f num

LVS的DR模型配置实例

假定用3台主机配置一个web集群。一台Director，2台Real Server。VIP：192.168.100.185，DIP：192.168.100.105，RS1的RIP：192.168.100.107，RS1的RIP：192.168.100.108 。3台主机都连接在同一交换机上，2台Real Server上web服务都已安装配置完成。以下主要给出LVS集群相关的配置过程。
RS1的配置：

# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
#
# ifconfig lo:0 192.168.100.185 netmask 255.255.255.255 broadcast 192.168.100.185 up
# route add -host 192.168.100.185 dev lo:0
#

RS2的配置：

# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
#
# ifconfig lo:0 192.168.100.185 netmask 255.255.255.255 broadcast 192.168.100.185 up
# route add -host 192.168.100.185 dev lo:0

Director的配置：
安装ipvsadm
# yum install ipvsadm

# ifconfig eth0:0 192.168.100.185 netmask 255.255.0.0 broadcast up
# route add -host 192.168.100.185 dev eth0:0
#
# iptables -t filter -F
# ipvsadm -A -t 192.168.100.185:80 -s rr
# ipvsadm -a -t 192.168.100.185:80 -r 192.168.100.107 -g
# ipvsadm -a -t 192.168.100.185:80 -r 192.168.100.108 -g