高可用群集HA综合案例详解(High Available)

高可用群集：在同一时刻只有一台机器处于活动状态，另一台处于备份状态
通常采用下图做法，将director做成高性能群集，使任何时候都有一台处于活动状态；将下层的服务器做成负载均衡群集使请求交与多台服务器进行处理




实现方法：
1.heartbeat ：比较常用 版本 v1 v2 v3
2.rhcs ：redhat 集群套件--redhat cluster suite 图形界面，实现方便，可有100多个节点
3.corosync/openais +paceker
2个节点：
采用主备模式：一台激活，另一台备份，对外呈现一个虚拟ip地址。两个节点之间采用心跳线，备份节点使用心跳线来探测活动节点是否处于活动状态。
心跳线：双绞线 或光纤跳线或 serial线
采用主主模式：两个节点，在提供web服务时，左侧为激活状态，右侧为备份状态；在实现mail服务时， 一个为激活状态，一个为备份状态
HA群集的资源：
ip地址 脚本 服务
群集分裂：
当一台活动节点处于假死状态（可能是心跳线故障，使备份节点自动激活），备份节点自动激活，两个节点将出现抢占资源状态。 split-brain
群集分裂处理方法：
stonth ：shoot the other in the head 使用电源交换机，当出现资源争抢时，自动切断另一台节点的电源
fence：在rhcs说法
案例一：两个节点node1.a.com和node2.a.com ，都有web服务，二者之间用心跳线进行监控，使同一时刻只有一台服务器提供web服务，另一台作为备份。对外呈现唯一的一个ip地址10.101 (主备模式)
拓扑图：




正确配置node1和node2的ip地址：
1.做高可用群集要求两台机器能够互相进行解析，先把node的名字对应的修改一下，这里就修改hosts值，也可以实现解析的功能。
[root@localhost ~]# vim /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=node1.a.comtest
[root@localhost ~]# vim /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=node2.a.comtest
2.设置hosts值
[root@localhost ~]# vim /etc/hosts
192.168.10.201 node1.a.com
192.168.10.202 node2.a.com
挂载光盘并配置yum源
[root@localhost ~]# mount /dev/cdrom /mnt/cdrom
3.安装httpd服务并且启动服务。
创建的网页 分别为test1 test2
测试网页正常后关闭httpd服务，以便后面的测试。
.在每个服务器上安装heartbeat服务，使两个服务器成为高可用群集（需要以下几个包）
yum localinstall heartbeat-2.1.4-11.el5.i386.rpm heartbeat-pils-2.1.4-11.el5.i386.rpm heartbeat-stonith-2.1.4-11.el5.i386.rpm libnet-1.1.4-3.el5.i386.rpm perl-MailTools-1.77-1.el5.noarch.rpm --nogpgcheck -y
4.安装后在/etc下会生成目录ha.d目录，在这里可以设置心跳在哪个网卡上运行，采用广播、组播还是单播；虚拟ip是多少，刚开始启动时激活的设备是哪台服务器
rpm -ql heartbeat|less 查看安装heartbeat后文件的路径
/usr/share/doc/heartbeat-2.1.4/authkeys #群集成员之间的验证，验证是否是合法成员。
/usr/share/doc/heartbeat-2.1.4/ha.cf
/usr/share/doc/heartbeat-2.1.4/haresources #定义群集资源
5.切换至/usr/share/doc/heartbeat-2.1.4，将authkeys haresources ha.cf 文件复制到/etc/ha.d下
cd /usr/share/doc/heartbeat-2.1.4/
cp authkeys haresources ha.cf /etc/ha.d/
6.切换至目录/etc/ha.d下，编辑文件ha.cf，该文件主要用来定义心跳探测机制
[root@localhost ha.d]# vim ha.cf
95 bcast eth1 采用广播从eth1上来测试心跳。
213 node node1.a.com
214 node node2.a.com 成员有两个而且要进行域名解析
[root@localhost ha.d]# vim authkeys
7.编辑文件authkeys ，该文件主要用来验证成员之间的有效性，需要将文件权限设置为600，否则服务将无法启动
#1 crc 验证方式1表示crc校验
#2 sha1 HI! 验证方式2表示采用哈希值 ，“HI!”为密码
#3 md5 Hello! 验证方式3表示md5加密 ，“Hello!”为密码
24 #1 crc
25 #2 sha1 HI!
26 #3 md5 Hello!
auth 3
3 md5 8a730ebbe9c05ec3a84d16a60506fa49 #两个node使用同一个值
第三种验证即md5验证，需要使用密文密码，可以使用命令# dd if=/dev/random bs=512 count=1 |openssl md5 残生一个随机数，并使用md5加密，然后将该字符串作为成员之间的验证密码
8.修改权限
[root@node2 ha.d]# chmod 600 authkeys
不修改权限会出现如下错误：
heartbeat[4981]: 2012/12/30_02:07:30 ERROR: Bad permissions on keyfile [/etc/ha.d/authkeys], 600 recommended.
9.修改haresources
[root@localhost ha.d]# vim haresources
45 node1.a.com 192.168.10.101/24/eth0/空格 httpd
# node为主（这里在node2上也要设置node1.a.com）不然的话就会出现httpd都在运行
10.将httpd的脚本文件复制到/etc/ha.d/resource.d
[root@localhost ha.d]# cp /etc/init.d/httpd /etc/ha.d/resource.d
在两个节点上都启用heartbeat服务，并将该服务设置为开机自启动
[root@node1 ~]# service heartbeat start
[root@node1 ~]# chkconfig heartbeat on #自动启动。
Node2上做同样的设置。
11.验证 通过外网访问虚拟ip




[root@node1 ~]# ifconfig
eth0:0 Link encap:Ethernet HWaddr 00:0C:29:56:00:D6 #群集ip地址。
inet addr:192.168.10.101 Bcast:192.168.10.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
Interrupt:67 Base address:0x2000
可以发现node1.a.com上的httpd服务自动启动，node2.a.com 上没有启动
[root@node1 ~]# service httpd status
httpd (pid 7734) 正在运行...
[root@node2 ha.d]# service httpd status
httpd 已停
12.在node2.a.com上没隔一秒查看一次httpd的状态
# watch -n 1 'service httpd status'
关掉node1 查看
[root@node1 heartbeat]# cd /usr/lib/heartbeat/
[root@node1 heartbeat]# ./hb_standby 关闭
//也可以使用[root@node1 heartbeat]# service heartbeat stop
2012/12/30_02:32:30 Going standby [all].
在node2上可以发现
[root@node2 ~]# service httpd status
httpd (pid 8202) 正在运行...




浏览器访问虚拟ip就只能访问到node2




启动node1的heartbeat就会发现node1的httpd服务已经启动，node2的httpd服务已经停止。
两台服务器之间互相备份，同时只有一台服务器运行，符合高可用群集特性。
案例二：此案例是在上个案例的基础之上做出修改。
由于两个节点node1.a.com和node2.a.com可以提供高可用性，但是这两台服务器不能够提供负载均衡，所以将两个节点node1.a.com和node2.a.com作为director，然后再开启两台linux作为web服务器，此时node1.a.com和node2.a.com将会有一台工作，并提供负载均衡将请求发送至两台web服务器上。案例使用LVS-DR直接路由模型，使用heartbeat来控制两台director的ipvsadm服务
拓扑图:




1.关闭director上的heartbeat
[root@node1 heartbeat]# service heartbeat stop
[root@node1 heartbeat]# yum remove httpd -y
[root@node2 heartbeat]# service heartbeat stop
[root@node2 heartbeat]# yum remove httpd -y
2.在两个节点node1.a.com和node2.a.com上分别安装ipvsadm工具用于实现LVS
在两个节点上分别配置yum工具
[root@node1 ha.d]# vim /etc/yum.repos.d/rhel-debuginfo.repo
1 [rhel-server]
2 name=Red Hat Enterprise Linux Server
3 baseurl=file:///mnt/cdrom/Server/
4 enabled=1
5 gpgcheck=0
6 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
7 [rhel-Cluster]
8 name=Red Hat Enterprise Linux Cluster
9 baseurl=file:///mnt/cdrom/Cluster/
10 enabled=1
11 gpgcheck=0
12 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
3.使用yum安装ipvsadm服务。
[root@node1 ~]# yum install ipvsadm -y
[root@node1 ~]# service ipvsadm save
[root@node1 ~]# service ipvsadm start
[root@node1 ~]# ipvsadm -A -t 192.168.10.101:80 -s rr
[root@node1 ~]# ipvsadm -a -t 192.168.10.101:80 -r 192.168.10.203 -g
[root@node1 ~]# ipvsadm -a -t 192.168.10.101:80 -r 192.168.10.204 -g
[root@node1 ~]# service ipvsadm save
Saving IPVS table to /etc/sysconfig/ipvsadm: [确定]
#LVS 的DR 模式
[root@node1 ~]# service ipvsadm stop
[root@node1 ~]# chkconfig ipvsadm off #开机关闭
#群集里的资源是要自动分配的不能自己启动，stop是为了后面的测试。
4.把同样的配置copy到node2上一份。（yes， passwd）
[root@node1 ~]# scp /etc/sysconfig/ipvsadm 192.168.10.202:/etc/sysconfig
修改控制脚本
[root@node1 ha.d]# pwd
/etc/ha.d
[root@node1 ha.d]# vim haresources
45 node1.a.com 192.168.10.101/24/eth0/空格 ipvsadm
[root@node1 ha.d]# scp /etc/init.d/ipvsadm /etc/ha.d/resource.d/
5.和node2 同步
[root@node1 ha.d]# scp /etc/ha.d/haresources node2.a.com:/etc/ha.d
[root@node1 ha.d]# scp /etc/init.d/ipvsadm node2.a.com:/etc/init.d
6.Director1和director2重启服务重新加入群集
在director上查看群集资源，而且规则已经启动
可以发现director1上有了群集资源eth0:0，而director2两者都没有出现。
eth0:0 Link encap:Ethernet HWaddr 00:0C:29:56:00:D6
inet addr:192.168.10.101 Bcast:192.168.10.255 Mask:255.255.255.0
[root@node1 ha.d]# ipvsadm
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.10.101:http rr
-> 192.168.10.203:http Route 1 0 0
-> 192.168.10.204:http Route 1 0 0
按照拓扑图要求对realserver1和realserver2 的ip进行配置重点如下：（vip的配置）
而且要安装web服务，并启动。




7.将arp_announce的值改为2，将arp_ignore的值改为为1，/etc/sysctl.conf
[root@node1 ~]# echo "net.ipv4.conf.eth0.arp_announce = 2" >> /etc/sysctl.conf
[root@ node1~]# echo "net.ipv4.conf.all.arp_announce = 2" >> /etc/sysctl.conf
[root@node1t ~]# echo "net.ipv4.conf.eth0.arp_ignore = 1" >> /etc/sysctl.conf
[root@node1 ~]# echo "net.ipv4.conf.all.arp_ignore = 1" >> /etc/sysctl.conf
[root@node1~]# sysctl -p #使服务生效
net.ipv4.conf.eth0.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.eth0.arp_ignore = 1
net.ipv4.conf.all.arp_ignore = 1
8.在server1和server2上添加临时路由
[root@server1 ~]# route -add -host 192.168.10.10 dev lo:0
[root@server2 ~]# route add -host 192.168.10.101 dev lo:0
9.验证一下：
现在HA 是主备模式 其中node1是主，node2是备份（基于LVS的DR模式），server1和server2是负载均衡的web群集。
通过浏览器访问vip刷新web1和web2交替出现。说明访问的时候是轮询模式，即用户方vip时server1和server2交替工作，实现负载均衡。








10.查看director可以发现director1已经得到群集资源，而且启动了ipvsadm
[root@node1 ha.d]# ifconfig
eth0:0 Link encap:Ethernet HWaddr 00:0C:29:56:00:D6
inet addr:192.168.10.101 Bcast:192.168.10.255 Mask:255.255.255.0
11.[root@node1 ha.d]# watch -n 1 'ipvsadm' #每一秒钟查看一次




假如director1出现故障。Director2上马上就会获得群集资源，而且ipvsadm也启动。
[root@node1 ha.d]# cd /usr/share/heartbeat/
[root@node1 heartbeat]# ./hb_standby
#或者[root@node1 ha.d]# service heartbeat stop
[root@node2 ~]# ifconfig
eth0:0 Link encap:Ethernet HWaddr 00:0C:29:44:FB:AA
inet addr:192.168.10.101 Bcast:192.168.10.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
Interrupt:67 Base address:0x2000
12.[root@node2 ~]# watch -n 1 'ipvsadm' #刷新访问vip 就会出现如下。




13.如果director1恢复正常的话，群集资源就会在director1上。
[root@node1 heartbeat]# ./hb_takeover 启动 或者service heartbeat start
这样就能实现director的高可用性，而且能够实web服务器的负载均衡。