LVS-NAT模型/LVS-DR模型实践

LVS-NAT模型/LVS-DR模型实践

LVS汇总
LVS是Linux Virtual Server的简称，基于IP和端口的负载均衡软件。该开源项目的发起者和主要开发者为章文嵩博士。
1.1)LVS的组件：

ipvs：工作在内核空间netfilter/iptables框架的input链上。
ipvsadm：工作在用户空间的一个命令工具，主要用于复制均衡规则的定制和管理
ipvsadm定义好集群服务和负载均衡规则后，ipvs在input链上截取相应端口和目标地址的服务包，改写目标地址，通过forward，postrouting链发往后端的真正提供服务的主机。
iptables规则和ipvsadm定义的规则不能共存。
LVS支持的协议：
目前支持：tcp/udp/sctp/ah/esp/ah_esp
术语约定：
主机类：
Director：调度器，做为网络构架的唯一入口。
Real Server：简称RS，隐藏于后端提供服务的真正主机。

IP类：
用户(cip)<--->(vip)LVS-Director(dip)<---->(rip)real server
lVS的工作模型由四种：
lvs-nat: 后端real server真正隐藏，接受和返回给客户端的数据包均需经由 lvs-Director转发，
后端realserver 与 lvs要求在同一个物理局域网内。
lvs-dr: Lvs-Director接受客户端的请求数据包，给返回给客户端的应答包由后端realserver直接返回，后端realserver与lvs要求在同一个物理局域网内。
lvs-tun: Lvs-Director接受客户端的请求数据包，给返回给客户端的应答包由后端realserver直接返回，后端realserver与lvs不在同一个物理局域网内，可以夸地域实现。
lvs-fullnat: 这个目前不是LVS标准模型，由阿里巴巴集团开发人员研制出的一种新型结构，是lvs-nat模型的改进型，Lvs-Director与realserver可以跨路由器协同工作。
LVS的调度方法：
静态方法：调度时仅根据算法本身实现调度，而不管后端realserver的负载情况,追求的是起点公平。
RR:round-robin，轮询。
根据配置lvs-director指定的realserver的次序，挨个来应答请求。
存在的问题是：不论realserver性能的高低而得到同等的待遇，没有发挥出高性能realsever的能力。
WRR：weighted round-robin，加权轮询：给lvs一个权重值，值越大承受越多。

在配置director上配置realserver时，指定了每个realserver的权重值，比如第一realserver 权重 1 ，第二个realserver的权重为4，那么前5个连接请求第二个realserver占据4个后第一个realserver才占据1个，二者之间始终保存1:4的关系。
存在问题：可能会出现这种场景：第二个realserver上的4个链接都没有断开，而第一个realserve上的唯一的一个连接处理完毕已经空闲，而第二个realserver还在处理4个连接。新来了5个连接，第二个realserver分的4个，第一个realserver分的1个。此时第二个realserve上有8个连接要处理，而第一个realserve上只需处理1个链接。
RR与WRR，算法的优点是其简洁性，它无需记录当前所有连接的状态，是一种无状态调度，不管服务器的当前连接数和响应速度。

DH：destination ip hashing，目标地址散列调度，特殊场景中使用，例如有多出口时。
该算法是针对目标IP地址的负载均衡，通过散列（Hash）函数将目标IP地址与后台Realserver组成key：value对应关系的散列表，根据请求包文的目标IP地址，作为键（Hash Key）从静态分配的散列表找出对应的缓存或出口服务器。
SH：source hashing，源地址哈希，来源相同的主机始终发向同一个realserver实现会话绑定。
它采用的散列函数与目标地址散列调度算法 的相同。除了将请求的目标IP地址换成请求的源IP地址外，它的算法流程与目标地址散列调度算法的基本相似。在实际应用中，源地址散列调度和目标地址散列 调度可以结合使用在防火墙集群中，它们可以保证整个系统的唯一出入口。

动态方法：根据算法及后端RS当前的负载状况实现调度 。根据overhead值挑选最小的realserver进行应答响应。
LC：least connection
这种调度算法分配连接时根据overhead和在realserver上的顺序来分配连接的。连接来临时overhead小的分的连接，若overhead相同，按照在director上的realserve顺序来分配。
WLC:weighted least connection

wlc是lc的改进，在分配连接时增加了weight值，使得权重大的realserver分的连接数增加。可以给性能高的realserver配置合理的权重值，使其发挥更大的能力。当权重设计不合理，会出现权重高的机器忙死，权重低的机器闲死。wlc是默认的调度方式。
SED:Shorted Expection Delay，最短期望延迟

SED虽是wlc的改进，但是并没有克服权重设置不合理带来的缺陷：当权重设计不合理，会出现权重高的机器忙死，权重低的机器闲死。
NQ:Never Queue ，永不排队
NQ是SED的改进，初始时让每个realserver根据权重分的一个连接，而后按照SED的overhead的计算公式，决定下面的连接分配情况。

LBLC:基于本地的最少连接 Local-Based Least Connection
动态方式的DH算法
将去往相同地址的连接定向到同一个出口上，若在出口上设定有缓存服务器，这能提高cache命中率。当出口server负担过重时也会定向至另外的server上，虽然这降低了命中，破坏lvs的初衷。
LBLCR:带复制的LBLC
出口服务器上配置有缓存功能，将去往某些域名的连接出口定向至1号server上，这样提高cache命中，当1号负担过重时，将部分连接调至2号server上，同时将cache中的内容也复制一份给2号server。
ipvsadm命令的使用格式：
安装命令：#yum -y install ipvsadm
用法：
管理集群服务:创建，修改,删除
#ipvsadm -A|-E -t|-u|-f service-address [-s scheduler]
#ipvsadm -D -t|-u|-f service-address
-A:创建
-E:修改
-D:删除
-t:tcp,后面的service-address的格式：vip:port,如：192.168.0.1:80
-u:udp,后面的service-address的格式：vip:port,如：192.168.0.1:80
-f:承载协议为tcp或udp，但该类报文会经由iptables/netfilter打标记，即防火墙标记，其service-address的格式 -s scheduler:指定算法。默认为wlc
管理集群服务的RS:添加，修改，移除
#ipvsadm -a|-e -t|-u|-f service-address -r server-address [-g|-i|-m] [-w weight]
#ipvsadm -d -t|-u|-f service-address -r server-address
#ipvsadm -C

-r server-address:指明Real Server，格式：ip[:port],如：192.168.1.1:80
-g:指明lvs类型为 lvs-dr，默认类型。
-i:指明lvs类型为 lvs-tun
-m:指明lvs类型为lvs-nat
-w weight:指定权重。
-d:删除已定义的realserver
-C:清空已定义的ipvsadm的规则
规则存取：
保存规则：
#service ipvsadm save
-->规则保存至/etc/sysconfig/ipvsadm
#ipvsadm -S > /etc/sysconfig/ipvsadm
#ipvsadm-save > /etc/sysconfig/ipvsadm
读取规则：
#service ipvsadm restart
#ipvsadm -R < /etc/sysconfig/ipvsadm
#ipvsadm-restore</etc/sysconfig/ipvsadm

-L 显示规则
-n 数字表示
-Z 情况数据统计值
option：
-c 显示当前的活动链接分配
--stats 显示统计数据
--rates 列出速率
--exact 显示精确值

Lvs-Nat模型的实现：
2.1)Lvs-nat模型下数据包ip头地址的转换
请求包头：client(cip,vip)--->lvs(dip)-->(cip,rip)-->realserver
响应包头： client(vip,cip)<---lvs(dip)<--(rip,cip)<--realserver
2.2) Lvs-nat架构特性：
(1):rip为私有地址，vip为公网地址
(2):read sever网关指向dip，rip与dip在同一网段中。
(3):请求和相应报文都经由Director转发，lvs在高负载场景下成为系统同瓶颈。
(4):lvs必须为linux，real server可以是任意OS

路由设定：
用为是LVS-NAT模型，需要realserver的 rip网卡的网关设定为Directory的dip
1
2
[root@Test03 ~]# ip route add default via 172.16.0.1
[root@Test02 html]# ip route add default via 172.16.0.1
2.4.3)Lvs-director Test01上启动ipv4数据包转发：

LVS-DR模型的实现：
3.1)LVS-DR模型下数据包IP头部和帧的转换：
请求包文IP头部：
client->(cip,vip)->Director->[MAC-DIP,MAC-RIP](cip,vip)--->(rip)realserver-->(lo:0 vip)realserver
响应报文的IP头部：
client<--(vip,cip)<---(rip)realserver<--(vip,cip)---(lo:0vip)realserver
3.2)构建特性：
(1):保证前端路由器将目标地址为vip的请求报文通过ARP地址解析送往Director
解决方案：
静态绑定：前段路由直接将VIP对应的mac地址静态配置为director的mac地址
artables：在各RS上,通过arptables规则拒绝其响应对vip的arp广播地址请求
内核参数：在RS上修改内核参数，并结合地址的配置方式实现拒绝响应对vip的arp广播请求
(2):RS的rip可以使用私有地址，也可使用公网地址
(3):请求报文必须经由director调度，但响应报文必须不能经由director
(4):各RIP必须与DIP在同一个物理网络中
(5)：不支持端口映射
(6):RS可以使用大多数的OS
(7):RS的网关一定不能指向Director
3.3)部署要点:
(1)各RS直接回应client的请求，因此，各RS均得配置VIP，不然客户端收到的数据包源地址不是vip，则会丢弃收到的数据包。
(2)Director不会修改/拆除请求报文的IP首部，而是
通过封装新的帧首部（源MAC为director的dir
端口的MAC，目标mac为rs的rip端口的mac）
Director的vip地址配置在dir网卡的别名上。
(3)RS上vip配置在lo网卡的别名上若lo:0,并配置有arp应答抑制；只有Director上的vip参与本地路由通 信，也就是参阅arp应答。
(4)linux上配置的IP地址属于内核的而不是网卡， linux上响应报文从哪个接口出去就封装该接口的IP源IP
因此，需设定RS上相应报文的从lo别名网卡（也就是配置有vip的网卡)发出，通过rip网卡流经网关返回给client。
实验特点 实验步骤 实验环境