LVS负载均衡

摘要: 负载均衡集群是 load balance 集群的简写，翻译成中文就是负载均衡集群。常用的负载均衡开源软件有nginx、lvs、haproxy，商业的硬件负载均衡设备F5、Netscale。这里主要是学习 LVS 并对其进行了详细的总结记录。

版权声明：本文为yunshuxueyuan原创文章。
如需转载请标明出处： https://my.oschina.net/yunshuxueyuan/blog QQ技术交流群：299142667

LVS负载均衡

1. 基本介绍

负载均衡集群是 load balance 集群的简写，翻译成中文就是负载均衡集群。常用的负载均衡开源软件有nginx、lvs、haproxy，商业的硬件负载均衡设备F5、Netscale。这里主要是学习 LVS 并对其进行了详细的总结记录。

LB集群的架构和原理很简单，就是当用户的请求过来时，会直接分发到Director Server上，然后它把用户的请求根据设置好的调度算法，智能均衡地分发到后端真正服务器(real server)上。为了避免不同机器上用户请求得到的数据不一样，需要用到了共享存储，这样保证所有用户请求的数据是一样的。

2. Lvs的组成：

LVS 由2部分程序组成，包括 ipvs 和 ipvsadm。

1. ipvs(ip virtual server)：一段代码工作在内核空间，叫ipvs，是真正生效实现调度的代码。

2. ipvsadm：另外一段是工作在用户空间，叫ipvsadm，负责为ipvs内核框架编写规则，定义谁是集群服务，而谁是后端真实的服务器(Real Server)

3. Lvs配置步骤：

a. 准备好3台虚拟机，配置ip在同一网段

b. 配置lvs的VIP



c. 调整后端真实server的响应，通告级别(每一台)

echo 1  > /proc/sys/net/ipv4/conf/eth0/arp_ignore

echo 2  > /proc/sys/net/ipv4/conf/eth0/arp_announce

echo 1  > /proc/sys/net/ipv4/conf/all/arp_ignore

echo 2  > /proc/sys/net/ipv4/conf/all/arp_announce

d. 调整后端真实server的VIP(每一台)

ifconfig lo:8 192.168.9.100 netmask 255.255.255.255

e. 启动真实server上的httpd服务,并编写欢迎页面

service httpd start

/var/www/html

vi index.html  from ooxxip

f. 在LVS主机器上安装ipvsadm,并配置

yum install ipvsadm -y

ipvsadm -A -t 192.168.9.100:80 -s rr

ipvsadm -a -t 192.168.9.100:80 -r 192.168.9.12 -g

ipvsadm -a -t 192.168.9.100:80 -r 192.168.9.13 -g

ipvsadm -ln

ipvsadm –lnc

g. 保存规则：

ipvsadm -S > /tmp/lvs_conf

h. 载入此前规则：

ipvsadm -R < /tmp/lvs_conf

KEEPALIVED高可用

1. 定义

Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以利用其来避免单点故障。一个LVS服务会有2台服务器运行Keepalived，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外表现为一个虚拟IP，主服务器会发送特定的消息给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候， 备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。Keepalived是VRRP的完美实现。

2. 安装配置：

a. yum install  keepalived

b. vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {

notification_email {

acassen@firewall.loc  #发送提醒邮件的目标地址可以有多个

failover@firewall.loc

sysadmin@firewall.loc

}

notification_email_from Alexandre.Cassen@firewall.loc #发送邮件的from地址，可以随意写，邮件地址不存在都无所谓

smtp_server 192.168.200.1 #邮件服务的地址，一般写本地

smtp_connect_timeout 30

router_id LVS_DEVEL

}

vrrp_instance VI_1 {

state MASTER         #MASTER 主和从

interface eth0       #VIP需要绑定的网卡名称

virtual_router_id 51

priority 150         #优先级 主的优先级要高

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

192.168.122.200/24 dev eth0 label eth0:0 #设置VIP

}

}

virtual_server 192.168.122.200 80 { #设置虚拟lvs服务，VIP PORT

delay_loop 6

lb_algo rr #调度算法

lb_kind DR #lvs的模式

nat_mask 255.255.255.0

persistence_timeout 0 同一个IP地址在n秒内lvs转发给同一个后端服务器

protocol TCP

real_server 192.168.122.112 80 {#设置真实服务器的心跳机制

weight 1#权重

HTTP_GET {#心跳检测的方式(注意空格)

url {

path /#心跳检查的地址

status_code 200#心跳检查返回的状态

}

connect_timeout 3#超时时间

nb_get_retry 3#重复检查3次

delay_before_retry 3#每隔1秒钟再次检查

}

}

real_server 192.168.122.113 80 {#同上

weight 1

HTTP_GET {

url {

path /

status_code 200

}

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

}

}

}

c. service keepalived start

NGINX

1. Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like 协议下发行。其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。

2. 安装：

a. 下载源码包

b. 解压缩：tar xf filename



c. ./configure

检查操作系统

检查编译环境

yum install gcc

pcre 依赖库

yum search pcre

yum install pcre-devel

openssl

yum install opssl-devel

./configure --help

./configure --prefix=/opt/sxt/nginx

d. make && make install

3. 添加tengine到注册表，将下面文件中的代码，拷贝到/etc/init.d/nginx中；然后就可以使用service命令了



4. 配置：

a. 文件结构



全局块：配置影响nginx全局的指令。一般有运行nginx服务器的用户组，nginx进程pid存放路径，日志存放路径，配置文件引入，允许生成worker process数等。

events块：配置影响nginx服务器或与用户的网络连接。有每个进程的最大连接数，选取哪种事件驱动模型处理连接请求，是否允许同时接受多个网路连接，开启多个网络连接序列化等。

http块：可以嵌套多个server，配置代理，缓存，日志定义等绝大多数功能和第三方模块的配置。如文件引入，mime-type定义，日志自定义，是否使用sendfile传输文件，连接超时时间，单连接请求数等。

server块：配置虚拟主机的相关参数，一个http中可以有多个server。

location块：配置请求的路由，以及各种页面的处理情况。

b. 配置文件示例：

#user  nobody; #配置用户或者组，默认为nobody nobody

worker_processes  1; #允许生成的进程数，默认为1

#error_log  logs/error.log;#制定日志路径，级别。这个设置可以放入全局块，http块，server块

#error_log  logs/error.log  notice;

#error_log  logs/error.log  info;

#pid        logs/nginx.pid;#指定nginx进程运行文件存放地址

events {

worker_connections  1024;#最大连接数

}

# load modules compiled as Dynamic Shared Object (DSO)

#

#dso {

#    load ngx_http_fastcgi_module.so;

#    load ngx_http_rewrite_module.so;

#}

http {

include       mime.types;#文件扩展名与文件类型映射表

default_type  application/octet-stream;#默认文件类型，默认为text/plain

#log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

#                  '$status $body_bytes_sent "$http_referer" '

#                  '"$http_user_agent" "$http_x_forwarded_for"';

#access_log  logs/access.log  main;

sendfile        on;#允许sendfile方式传输文件

#tcp_nopush     on;

keepalive_timeout  0;#连接超时时间

#keepalive_timeout  65;

#gzip  on;

upstream httpd {#服务器列表

server 192.168.122.112:80;

server 192.168.122.113:80;

}

upstream tom {

server 192.168.122.112:8080;

server 192.168.122.113:8080;

}

server {

listen       80;#监听端口

server_name  localhost;#监听地址

#charset koi8-r;

#access_log  logs/host.access.log  main;

location / {#请求的url过滤，正则匹配，~为区分大小写，~*为不区分大小写。

root   html;#根目录

index  index.html index.htm;#设置默认页

#autoindex on;

}

location /mp3 {

proxy_pass http://httpd/;#请求转向httpd 定义的服务器列表

}

location /tom {

proxy_pass http://tom/; 
}

}

c. location匹配规则：

先普通

顺序无关

最大前缀

匹配规则简单

打断：

^~

完全匹配

再正则

不完全匹配

正则特殊性：一条URI可以和多条location匹配上

有顺序的

先匹配，先应用，即时退出匹配

5. session共享及一致性解决方案：

a. memcached缓存服务，可以和tomcat整合

b. 安装memcached

yum install memcached –y

c. 启动memcached

memcached -d -m 128m -p 11211 -l 192.168.122.111 -u root -P /tmp/

d. 拷贝memcached相关jar包到tomcat的lib下

e. 配置tomcat，每个tomcat里面的context.xml中加入

<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"

memcachedNodes="n1:192.168.122.111:11211"

sticky="false"

lockingMode="auto"

sessionBackupAsync="false"

requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"

sessionBackupTimeout="1000" transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"

/>

版权声明：本文为yunshuxueyuan原创文章。
如需转载请标明出处： https://my.oschina.net/yunshuxueyuan/blog QQ技术交流群：299142667