lvs集群原理及部署实例
2017-02-03 18:04
441 查看
一 LVS简介
LVS （linux virtual server）由章文嵩博士主导开发的开源负载均衡项目，本方案是基于IP数据请求负载均衡调度方案，用户请求发送给LVS调度器，调度器根据自己的调度算法分发请求到后端的web服务器。
二 LVS三种工作模式
1 基于NAT的负载均衡
NAT （network address translation）网络地址转换，其作用是用于修改报文头，使内部机器可以访问外网，外部也可以访问内部主机，该模式下的调度器使用两块网卡配置不同的ip地址，一个用于内部网络连接，一个用于外部网络连接。
负载均衡过程：
首先，用户通过访问域名，DNS解析到负载均衡器上的外网ip地址
接着，调度器根据预订的负载均衡算法，把请求分发到后端的真实服务器上，在转发之前，LVS需要修改请求报文中的目标地址和端口，也即是改为被选出的真实服务器的地址和端口
最后，真实服务器将响应的数据返回给LVS调度器，调度器在收到数据后将地址和端口改回自己的地址和端口，然后再把数据发送给客户端。LVS调度器有一个连接hash表，该表完整记录了所有的请求与转发信息，当同一个连接的下一个数据包发送给调度器时，从hash表中找到记录中的相同服务器和端口。
2 基于TUN的负载均衡
LVS的NAT模式下，所有的请求及数据都要经过LVS调度器，如果后端的web服务器多于10台，则调度器就会成为集群的瓶颈。TUN的思路是将请求与响应数据分离，让调度器处理请求，让真实服务器直接把数据发送给客户端。
IP隧道 IP tunning 是一种数据封装技术，将原始数据包封装并添加新的包头，从而实现实现将一个目标为调度器vip地址的数据包封装，并通过隧道转发给后端真实的服务器，真实服务器将数据直接发送给客户端。 这种模式要求每台机器都要有一个可以联通外网的ip，耗费较多的ip地址。ip隧道封装技术也有相应的资源消耗
3 基于DR的负载均衡
DR模式也叫直接路由模式，这种模式要求调度器与后端服务器在同一个局域网内，VIP地址需要在两者中共享，真实服务器的vip地址必须配置在Non-ARP的网络设备上，也就是不对外广播自己的mac和ip地址。调度器在不修改数据报文的情况下，将数据帧的mac地址改为后端真实服务器的mac地址，真实服务器直接将数据返回给客户端
三 LVS负载均衡调度算法
轮询 rr
加权轮询 wrr
最小链接数 lc
加权最小链接数 wlc
目标地址散列 DH
源地址散列 SH
基于局部的最小链接调度 lblc
四 ipvsadm命令详解
yum install -y ipvsadm 后命令可用
ipvsadm的用法和格式如下：
ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p [timeout]] [-M netmask]
ipvsadm -D -t|u|f virtual-service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port [-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
ipvsadm --set tcp tcpfin udp
ipvsadm --start-daemon state [--mcast-interface interface]
ipvsadm --stop-daemon
ipvsadm -h
命令选项解释：
有两种命令选项格式，长的和短的，具有相同的意思。在实际使用时，两种都可以。
-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。
-E --edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D --delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。
-C --clear 清除内核虚拟服务器表中的所有记录。
-R --restore 恢复虚拟服务器规则
-S --save 保存虚拟服务器规则，输出为-R选项可读的格式
-a --add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。也就是在一个虚拟服务器中增加一台新的真实服务器
-e --edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录
-d --delete-server 删除一条虚拟服务器记录中的某条真实服务器记录
-L|-l --list 显示内核虚拟服务器表
-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）
--set tcp tcpfin udp 设置连接超时值
--start-daemon 启动同步守护进程。他后面可以是master或backup，用来说明LVS Router是master或是backup。在这个功能上也可以采用keepalived的VRRP功能。
--stop-daemon 停止同步守护进程
-h --help 显示帮助信息
其他的选项:
-t --tcp-service service-address 说明虚拟服务器提供的是tcp的服务[vip:port] or [real-server-ip:port]
-u --udp-service service-address 说明虚拟服务器提供的是udp的服务[vip:port] or [real-server-ip:port]
-f --fwmark-service fwmark 说明是经过iptables标记过的服务类型。
-s --scheduler scheduler 使用的调度算法，有这样几个选项rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,
默认的调度算法是： wlc.
-p --persistent [timeout] 持久稳固的服务。这个选项的意思是来自同一个客户的多次请求，将被同一台真实的服务器处理。timeout的默认值为300秒。
-M --netmask netmask persistent granularity mask
-r --real-server server-address 真实的服务器[Real-Server:port]
-g --gatewaying 指定LVS的工作模式为直接路由模式（也是LVS默认的模式）
-i --ipip 指定LVS的工作模式为隧道模式
-m --masquerading 指定LVS的工作模式为NAT模式
-w --weight weight 真实服务器的权值
--mcast-interface interface 指定组%B
五 实例-基于NAT模式的负载均衡
lvs调度器安装设置
首先设置2个网卡
vim /etc/sysconfig/network-script/ifcfg-eth0
DEVICE=eth0
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:05:E8:B4
IPADDR=192.168.1.2
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=8.8.8.8
vim /etc/sysconfig/network-script/ifcfg-eth1
DEVICE=eth1
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:06:E9:B6
IPADDR=122.126.152.183
NETMASK=255.255.255.240
GATEWAY= 122.126.152.1
DNS1=8.8.8.8
service network restart
安装ipvsadm
yum install ipvsadm -y
使用ipvsadm添加一组服务集群
ipvsadm -A -t 122.126.152.183:80 -s rr
ipvsadm -a -t 122.126.182.183:80 -r 192.168.1.5:80 -m
ipvsadm -a -t 122.126.182.183:80 -r 192.168.1.6:80 -m
ipvsadm -a -t 122.126.182.183:80 -r 192.168.1.7:80 -m
service ipvsadm save
sed -i /ip_forward/s/0/1/ /etc/sysctl.conf #开启路由转发功能
sysctl -p
iptables -F
iptables -X
service iptables save
setenforce 0
sed -i s/enforcing/disabled/g /etc/sysconfig/selinux
后端真实服务器1.5 网路配置及服务安装
vim /etc/sysconfig/network-script/ifcfg-eth0
DEVICE=eth0
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:05:E8:B4
IPADDR=192.168.1.5
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=8.8.8.8
yum install -y httpd
service httpd start
service network restart
echo "web1 192.168.1.5" > /var/www/html/index.html
iptables -F
iptables -X
service iptables save
setenforce 0
sed -i s/enforcing/disabled/g /etc/sysconfig/selinux
在服务器1.6 1.7 上执行同样操作，注意修改对应的ip参数
测试：
浏览器打开http://122.126.152.183 多次访问，得到不同访问内容表明成功。
六 实例-基于DR模式的负载均衡
lvs调度器网络配置与安装
vim /etc/sysconfig/network-script/ifcfg-eth1
DEVICE=eth1
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:06:E9:B6
IPADDR=122.126.152.183
NETMASK=255.255.255.240
GATEWAY=122.126.152.1
DNS1=8.8.8.8
vim /etc/sysconfig/network-script/ifcfg-eth1
DEVICE=eth1
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:06:E9:B6
IPADDR=122.126.152.183
NETMASK=255.255.255.240
GATEWAY= 122.126.152.1
DNS1=8.8.8.8
vim /etc/sysconfig/network-script/ifcfg-eth0
DEVICE=eth0
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E7:06:E9:B2
IPADDR=192.168.1.2
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=8.8.8.8
service network restart
安装ipvsadm
yum install ipvsadm -y
使用ipvsadm添加一组服务集群
ipvsadm -A -t 122.126.152.183:80 -s wrr
ipvsadm -a -t 122.126.152.183:80 -r 192.168.1.5:80 -g -w 1
ipvsadm -a -t 122.126.152.183:80 -r 192.168.1.6:80 -g -w 2
ipvsadm -a -t 122.126.152.183:80 -r 192.168.1.7:80 -g -w 3
service ipvsadm save
sed -i /ip_forward/s/0/1/ /etc/sysctl.conf #开启路由转发功能
sysctl -p
iptables -F
iptables -X
service iptables save
setenforce 0
sed -i s/enforcing/disabled/g /etc/sysconfig/selinux
后端真实服务器1.5 网路配置及服务安装
vim /etc/sysconfig/network-script/ifcfg-eth0
DEVICE=eth0
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:05:E8:B4
IPADDR=192.168.1.5
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=8.8.8.8
vim /etc/sysconfig/network-script/ifcfg-lo:0
DEVICE=lo:0
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:05:E8:B4
IPADDR=122.126.152.183
NETMASK=255.255.255.255
GATEWAY=192.168.1.1
DNS1=8.8.8.8
禁止对VIP地址的ARP响应
vim /etc/sysctl.conf
net.ipv4.conf.eth0.arp_ignore = 1
net.ipv4.conf.eth0.arp_announce = 2
net.ipv4.conf.arp_ignore = 1
net.ipv4.conf.arp_announce = 2
... ...
yum install -y httpd
service httpd start
service network restart
echo "web1 192.168.1.5" > /var/www/html/index.html
iptables -F
iptables -X
service iptables save
setenforce 0
sed -i s/enforcing/disabled/g /etc/sysconfig/selinux
在服务器1.6 1.7 上执行同样操作，注意修改对应的ip参数
测试：
浏览器打开http://122.126.152.183 多次访问，得到不同访问次数内容表明成功。
LVS （linux virtual server）由章文嵩博士主导开发的开源负载均衡项目，本方案是基于IP数据请求负载均衡调度方案，用户请求发送给LVS调度器，调度器根据自己的调度算法分发请求到后端的web服务器。
二 LVS三种工作模式
1 基于NAT的负载均衡
NAT （network address translation）网络地址转换，其作用是用于修改报文头，使内部机器可以访问外网，外部也可以访问内部主机，该模式下的调度器使用两块网卡配置不同的ip地址，一个用于内部网络连接，一个用于外部网络连接。
负载均衡过程：
首先，用户通过访问域名，DNS解析到负载均衡器上的外网ip地址
接着，调度器根据预订的负载均衡算法，把请求分发到后端的真实服务器上，在转发之前，LVS需要修改请求报文中的目标地址和端口，也即是改为被选出的真实服务器的地址和端口
最后，真实服务器将响应的数据返回给LVS调度器，调度器在收到数据后将地址和端口改回自己的地址和端口，然后再把数据发送给客户端。LVS调度器有一个连接hash表，该表完整记录了所有的请求与转发信息，当同一个连接的下一个数据包发送给调度器时，从hash表中找到记录中的相同服务器和端口。
2 基于TUN的负载均衡
LVS的NAT模式下，所有的请求及数据都要经过LVS调度器，如果后端的web服务器多于10台，则调度器就会成为集群的瓶颈。TUN的思路是将请求与响应数据分离，让调度器处理请求，让真实服务器直接把数据发送给客户端。
IP隧道 IP tunning 是一种数据封装技术，将原始数据包封装并添加新的包头，从而实现实现将一个目标为调度器vip地址的数据包封装，并通过隧道转发给后端真实的服务器，真实服务器将数据直接发送给客户端。 这种模式要求每台机器都要有一个可以联通外网的ip，耗费较多的ip地址。ip隧道封装技术也有相应的资源消耗
3 基于DR的负载均衡
DR模式也叫直接路由模式，这种模式要求调度器与后端服务器在同一个局域网内，VIP地址需要在两者中共享，真实服务器的vip地址必须配置在Non-ARP的网络设备上，也就是不对外广播自己的mac和ip地址。调度器在不修改数据报文的情况下，将数据帧的mac地址改为后端真实服务器的mac地址，真实服务器直接将数据返回给客户端
三 LVS负载均衡调度算法
轮询 rr
加权轮询 wrr
最小链接数 lc
加权最小链接数 wlc
目标地址散列 DH
源地址散列 SH
基于局部的最小链接调度 lblc
四 ipvsadm命令详解
yum install -y ipvsadm 后命令可用
ipvsadm的用法和格式如下：
ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p [timeout]] [-M netmask]
ipvsadm -D -t|u|f virtual-service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port [-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
ipvsadm --set tcp tcpfin udp
ipvsadm --start-daemon state [--mcast-interface interface]
ipvsadm --stop-daemon
ipvsadm -h
命令选项解释：
有两种命令选项格式，长的和短的，具有相同的意思。在实际使用时，两种都可以。
-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。
-E --edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D --delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。
-C --clear 清除内核虚拟服务器表中的所有记录。
-R --restore 恢复虚拟服务器规则
-S --save 保存虚拟服务器规则，输出为-R选项可读的格式
-a --add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。也就是在一个虚拟服务器中增加一台新的真实服务器
-e --edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录
-d --delete-server 删除一条虚拟服务器记录中的某条真实服务器记录
-L|-l --list 显示内核虚拟服务器表
-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）
--set tcp tcpfin udp 设置连接超时值
--start-daemon 启动同步守护进程。他后面可以是master或backup，用来说明LVS Router是master或是backup。在这个功能上也可以采用keepalived的VRRP功能。
--stop-daemon 停止同步守护进程
-h --help 显示帮助信息
其他的选项:
-t --tcp-service service-address 说明虚拟服务器提供的是tcp的服务[vip:port] or [real-server-ip:port]
-u --udp-service service-address 说明虚拟服务器提供的是udp的服务[vip:port] or [real-server-ip:port]
-f --fwmark-service fwmark 说明是经过iptables标记过的服务类型。
-s --scheduler scheduler 使用的调度算法，有这样几个选项rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,
默认的调度算法是： wlc.
-p --persistent [timeout] 持久稳固的服务。这个选项的意思是来自同一个客户的多次请求，将被同一台真实的服务器处理。timeout的默认值为300秒。
-M --netmask netmask persistent granularity mask
-r --real-server server-address 真实的服务器[Real-Server:port]
-g --gatewaying 指定LVS的工作模式为直接路由模式（也是LVS默认的模式）
-i --ipip 指定LVS的工作模式为隧道模式
-m --masquerading 指定LVS的工作模式为NAT模式
-w --weight weight 真实服务器的权值
--mcast-interface interface 指定组%B
五 实例-基于NAT模式的负载均衡
| 服务器名称 | 网络接口 | IP地址 |
| lvs.test.com | eth1 | 122.126.152.183 |
| eth0 | 192.168.1.2 | |
| web1.test.com | eth0 | 192.168.1.5 |
| web2.test.com | eth0 | 192.168.1.6 |
| web3.test.com | eth0 | 192.168.1.7 |
首先设置2个网卡
vim /etc/sysconfig/network-script/ifcfg-eth0
DEVICE=eth0
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:05:E8:B4
IPADDR=192.168.1.2
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=8.8.8.8
vim /etc/sysconfig/network-script/ifcfg-eth1
DEVICE=eth1
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:06:E9:B6
IPADDR=122.126.152.183
NETMASK=255.255.255.240
GATEWAY= 122.126.152.1
DNS1=8.8.8.8
service network restart
安装ipvsadm
yum install ipvsadm -y
使用ipvsadm添加一组服务集群
ipvsadm -A -t 122.126.152.183:80 -s rr
ipvsadm -a -t 122.126.182.183:80 -r 192.168.1.5:80 -m
ipvsadm -a -t 122.126.182.183:80 -r 192.168.1.6:80 -m
ipvsadm -a -t 122.126.182.183:80 -r 192.168.1.7:80 -m
service ipvsadm save
sed -i /ip_forward/s/0/1/ /etc/sysctl.conf #开启路由转发功能
sysctl -p
iptables -F
iptables -X
service iptables save
setenforce 0
sed -i s/enforcing/disabled/g /etc/sysconfig/selinux
后端真实服务器1.5 网路配置及服务安装
vim /etc/sysconfig/network-script/ifcfg-eth0
DEVICE=eth0
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:05:E8:B4
IPADDR=192.168.1.5
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=8.8.8.8
yum install -y httpd
service httpd start
service network restart
echo "web1 192.168.1.5" > /var/www/html/index.html
iptables -F
iptables -X
service iptables save
setenforce 0
sed -i s/enforcing/disabled/g /etc/sysconfig/selinux
在服务器1.6 1.7 上执行同样操作，注意修改对应的ip参数
测试：
浏览器打开http://122.126.152.183 多次访问，得到不同访问内容表明成功。
六 实例-基于DR模式的负载均衡
| 服务器名称 | 网络接口 | IP地址 |
| lvs.test.com | eth1 VIP | 122.126.152.183 |
| eth0 | 192.168.1.2 | |
| web1.test.com | eth0 | 192.168.1.5 |
| lo:0 VIP | 122.126.152.183 | |
| web2.test.com | eth0 | 192.168.1.6 |
| lo:0 VIP | 122.126.152.183 | |
| web3.test.com | eth0 | 192.168.1.7 |
| lo:0 VIP | 122.126.152.183 |
vim /etc/sysconfig/network-script/ifcfg-eth1
DEVICE=eth1
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:06:E9:B6
IPADDR=122.126.152.183
NETMASK=255.255.255.240
GATEWAY=122.126.152.1
DNS1=8.8.8.8
vim /etc/sysconfig/network-script/ifcfg-eth1
DEVICE=eth1
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:06:E9:B6
IPADDR=122.126.152.183
NETMASK=255.255.255.240
GATEWAY= 122.126.152.1
DNS1=8.8.8.8
vim /etc/sysconfig/network-script/ifcfg-eth0
DEVICE=eth0
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E7:06:E9:B2
IPADDR=192.168.1.2
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=8.8.8.8
service network restart
安装ipvsadm
yum install ipvsadm -y
使用ipvsadm添加一组服务集群
ipvsadm -A -t 122.126.152.183:80 -s wrr
ipvsadm -a -t 122.126.152.183:80 -r 192.168.1.5:80 -g -w 1
ipvsadm -a -t 122.126.152.183:80 -r 192.168.1.6:80 -g -w 2
ipvsadm -a -t 122.126.152.183:80 -r 192.168.1.7:80 -g -w 3
service ipvsadm save
sed -i /ip_forward/s/0/1/ /etc/sysctl.conf #开启路由转发功能
sysctl -p
iptables -F
iptables -X
service iptables save
setenforce 0
sed -i s/enforcing/disabled/g /etc/sysconfig/selinux
后端真实服务器1.5 网路配置及服务安装
vim /etc/sysconfig/network-script/ifcfg-eth0
DEVICE=eth0
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:05:E8:B4
IPADDR=192.168.1.5
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=8.8.8.8
vim /etc/sysconfig/network-script/ifcfg-lo:0
DEVICE=lo:0
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:05:E8:B4
IPADDR=122.126.152.183
NETMASK=255.255.255.255
GATEWAY=192.168.1.1
DNS1=8.8.8.8
禁止对VIP地址的ARP响应
vim /etc/sysctl.conf
net.ipv4.conf.eth0.arp_ignore = 1
net.ipv4.conf.eth0.arp_announce = 2
net.ipv4.conf.arp_ignore = 1
net.ipv4.conf.arp_announce = 2
... ...
yum install -y httpd
service httpd start
service network restart
echo "web1 192.168.1.5" > /var/www/html/index.html
iptables -F
iptables -X
service iptables save
setenforce 0
sed -i s/enforcing/disabled/g /etc/sysconfig/selinux
在服务器1.6 1.7 上执行同样操作，注意修改对应的ip参数
测试：
浏览器打开http://122.126.152.183 多次访问，得到不同访问次数内容表明成功。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- keepalived双机热备原理及实例部署LVS+keepalived 推荐
- HAProxy负载均衡原理及企业级实例部署haproxy集群
- HAProxy负载均衡原理及企业级实例部署haproxy集群
- Linux下基于LVS的集群原理及配置方法
- LVS集群系统网络核心原理分析【转载】
- LVS集群部署详细过程（LVS+OSPF）
- LVS原理详解及部署之三：手动部署LVS
- LVS原理详解及部署之二：LVS原理详解（3种工作方式8种调度算法）
- LVS集群部署详细过程（LVS+OSPF）
- 热部署原理&热部署实例(Java版)
- Linux下基于LVS的集群原理及配置方法
- LVS原理详解及部署之五：LVS+keepalived实现负载均衡&高可用
- LVS 集群系统网络核心原理分析
- LVS集群系统网络核心原理分析
- Linux下基于LVS的集群原理及配置方法
- lvs+keepalive 集群安装部署文档
- Keepalived+lvs 集群的 部署(二）
- 【APP】RabbitMQ集群环境生产实例部署 推荐
- LVS原理详解及部署之一：ARP原理准备