High Avalibility Cluster

集群基本概念：
1、HA Resource
由集群控制的IP地址、服务等
2、FailOver
活动节点故障后，活动节点上的资源全都转移到备份节点
3、FailBack
活动节点状态恢复后，资源转回到活动节点的动作
4、资源粘性
资源是否更倾向于运行在当前节点
HA集群层次架构：
RA：Resource Agent资源代理
LSB脚本：Linux Standard Base
能够接受start | stop | restart | status 4个参数的脚本
由这些脚本负责完成资源的管理
CRM：Cluster Resource Manager 集群资源管理器
负责计算、比较集群节点的事务信息
DC：Designated Coordinator
属于CRM的一部分
在集群节点中选择一个节点作为DC，进行集群节点状态信息进行计算/比较

DC中包括以下两个引擎：
PE：Policy Engine 策略引擎
负责进行集群节点事务信息的计算,比较
TE：Transaction Engine 事务引擎
PE对信息计算结束后，由TE指定集群资源应该转移到哪个节点

LRM：Local Resource Manager
属于CRM的一部分
运行在每个集群节点上，负责接收TE的指令，执行资源转移的操作
Messaging Layer：集群事务信息层
负责传递集群节点的事务信息(心跳信息、资源粘性值等信息)
基于UDP协议工作

以上三个层次的功能可以由不同的软件实现。

RG：Resource Group资源组
将多个资源归为一组，实现资源的共同转移

资源约束：Constraint
排列约束：Colation Constraint
定义资源是否能够运行在同一个节点上
正值：资源可以运行在同一个节点上
负值：资源不可以运行在同一个节点上
位置约束：Location Constraint
通过定义score(分数)来完成约束,定义资源是否更倾向于运行在哪个节点
正值：倾向于此节点
负值：倾向于逃离此节点
顺序约束：Order Constraint
定义资源启动或关闭的顺序

以上score(分数)有如下两个特殊的值：
-inf：负无穷
inf：正无穷

STONITH
当active节点故障时，passive节点会抢夺其资源，为避免active由于假死再次抢夺资源，通过一定的方法使active节点彻底失效

split-brain：脑裂
集群节点无法获取对方的状态信息，产生脑裂
后果之一会导致双方共同争夺共享存储，导致数据损坏

资源隔离：避免产生脑裂
节点级别隔离：STONITH
资源级别隔离
例如,FC SAN switch可以实现在存储资源级别控制某节点是否可以正常访问

STONITH
用于隔离集群节点

STONITH设备
1、Power Distribution Units (PDU) 电源交换机
需要向厂商申请专门用于管理STONITH功能的管理组件
2、Uniterruptible Power Supplies (UPS)
3、Blade Power Control Devices 刀片服务的电源控制设备
4、Lights-out Devices(IBM RSA, HP IL0,Dell DRAC)
服务器自带的管理模块
5、Testing Devices

STONITH的实现
1、stonithd进程
2、STONITH Plug-ins
多节点的高可用集群

ha-aware application：
可以借助Messageing Layer信息传递的功能，实现对集群服务及节点的管理

CRM的目的：
可以为那些本身不具备HA能力的软件提供高可用的功能

quorum：法定票数
每个集群节点都具有一定数量的法定票数，当某个节点的票数小于半数时，节点等待其他节点对自己进行判决

集群的全局资源策略(without_quorum_policy)：
当某个节点的票数小于半数时(不具备法定票数的时候)，对自身上运行的集群资源的处理机制：
1、freeze
不再接收新的请求，对已经接入的请求继续提供服务
2、stop
停止自身的集群资源
3、ignore
无论法定票数是否满足与否，仍然继续提供服务

Failover Domain：故障转移域
集群资源倾向于转移的节点的集合

集群运行模型：
N--M：
n个节点运行M个服务，n>m；例如4个节点上运行3个服务
N--N:
N个节点运行N个服务

资源类型：
根据资源运行的场景不同，分为如下4类：
1、primitive
某一时刻只能运行在同一个节点上的资源
2、clone
可同时运行在多个节点上的资源
3、group
是个资源容器,将多个集群资源归类到一起
4、master/slave
独特的clone类资源
只能运行在两个节点上，其中一个节点为master主节点，另外一个为slave节点

RA class 类别：
1、Legacy
heartbeat v1版本的RA
2、LSB脚本
/etc/init.d/目录下的所有脚本都是基于LSB的脚本
3、OCF(Open Cluster Framework)脚本
不同的provider内置提供不同的OCF脚本，例如：
pacemaker
linbit(实现drbd)
4、STONITH
专门用于管理硬件STONITH设备

提供Messaging Layer功能的软件
1、heartbeat(v1,v2,v3)
heartbeat v3
heartbeat
pacemaker
cluster-glue
2、corosync(rhel 6.0)
需要配合pacemaker提供CRM功能
3、cman(rhel 5.0)
4、keepalived
专门为lvs Director提供高可用功能使用
5、ultramonkey
提供CRM功能的软件
1、heartbeat v1，自带资源管理器
同时提供Messaging Layer和CRM功能
提供CRM功能的组件是haresource，heartbeat v1自带的管理器
2、heartbeat v2，自带资源管理器
haresource
crm
3、heartbeat v3：资源管理器crm发展为独立的项目pacemaker
pacemaker
4、rgmanager
为cman提供CRM管理功能
高可用集群共享存储

磁盘接口类型：
IDE： 133M/s
SATA3：6G/s
Ultra SCSI:　320M/s
SAS：6G/s
USB 3.0： 400M/s

机械硬盘
随机读写
顺序读写
固态硬盘

IDE,SCSI：并行
SATA,SAS,USB：串行

存储类型：
DAS
Direct Attached Storage
直接接到主板总线，BUS
NAS
Network Attached Storage
文件服务器，文件级别
SAN
Storage Area Network
存储区域网络
IP SAN: iSCSI
FC SAN
SCSI：Small Computer System Interface
宽带
16 target
窄带
8 target

配置高可用集群注意事项 ：
1、节点名称必须与uname -a命令看到的名称一致
2、配置基于密钥进行SSH通信
3、各集群节点时间必须同步
4、在/etc/hosts文件中配置各节点的主机名与IP地址解析条目

案例：HA WEB
系统：rhel 6.3 x32
IP1：10.1.1.1 server1.bj.com
IP2：10.1.1.2 server2.bj.com
VIP:10.1.1.254

1、配置两台机器的IP地址及计算机名称
2、编辑两台机器的/etc/hosts文件，确保两台机器可以通过主机名称通信
3、配置两台计算机基于密钥的SSH远程
1）在10.1.1.1上生成key
# ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ''
Generating public/private rsa key pair.
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
52:58:3c:04:3a:58:8d:f0:0c:92:58:be:f0:ac:a8:e4 root@server1.bj.com
The key's randomart image is:
+--[ RSA 2048]----+
|oo+..o.+o |
|oo *...oo |
|. o = . .. |
| + . . . |
| + . S |
|.. . |
|o. |
|+ |
|.E |
+-----------------+
2）将公钥传递给10.1.1.2
# ssh-copy-id -i .ssh/id_rsa.pub root@server2.bj.com
3）测试ssh远程，可以看到server2.bj.com上的IP
# ssh server2.bj.com 'ifconfig'
eth0 Link encap:Ethernet HWaddr 00:0C:29:22:89:6F
inet addr:10.1.1.2 Bcast:10.1.1.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fe22:896f/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:1498 errors:0 dropped:0 overruns:0 frame:0
TX packets:1354 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:146902 (143.4 KiB) TX bytes:185101 (180.7 KiB)
Interrupt:18 Base address:0x2024

同样的方法在10.1.1.2上配置基于密钥的SSH远程

4、配置两台计算机时间同步
# service ntpd stop
# chkconfig ntpd off
# ntpdate 10.1.1.2
# crontab -e
*/5 * * * * /usr/sbin/ntpdate 10.1.1.2 &> /dev/null
同样的方法配置10.1.1.2与10.1.1.1同步

在两台机器上分别安装httpd，并建立测试首页
# yum install -y httpd
启动httpd服务，测试网页访问是否正常；测试完成后，将httpd关闭，并调整为开机自动关闭
# service httpd stop
停止 httpd： [确定]

# chkconfig httpd off

5、在两台计算机上安装heartbeat软件

软件下载地址：https://dl.fedoraproject.org

# yum localinstall -y --nogpgcheck libnet-1.1.6-7.el5.i386.rpm perl-MailTools-1.77-1.el5.noarch.rpm
# yum localinstall --nogpgcheck heartbeat-2.1.4-11.el5.i386.rpm heartbeat-devel-2.1.4-11.el5.i386.rpm heartbeat-gui-2.1.4-11.el5.i386.rpm heartbeat-stonith-2.1.4-11.el5.i386.rpm heartbeat-pils-2.1.4-11.el5.i386.rpm

heartbeat软件包说明：
1、heartbeat - Heartbeat subsystem for High-Availability Linux
2、heartbeat-devel - Heartbeat development package
3、heartbeat-gui - Provides a gui interface to manage heartbeat clusters
4、heartbeat-ldirectord - Monitor daemon for maintaining high availability resources
为lvs的ipvs高可用提供规则自动生成及后端服务器状态检查的功能
5、heartbeat-pils - Provides a general plugin and interface loading library
装载库的插件及接口
6、heartbeat-stonith - Provides an interface to Shoot The Other Node In The Head
提供STONITH功能的接口

6、编辑heartbeat配置文件
三个配置文件：
1、密钥文件，600，authkeys
2、heartbeat服务的配置 ha.cf
3、资源管理配置文件
haresources

# cp /usr/share/doc/heartbeat-3.0.4/authkeys ha.cf haresources /etc/ha.d/
# chmod 600 /etc/ha.d/authkeys

编辑/etc/ha.d/authkeys文件
使用md5算法计算出随机数字作为密钥
# dd if=/dev/random bs=512 count=1 | md5sum
记录了0+1 的读入
记录了0+1 的写出
8字节(8 B)已复制，19.3129 秒，0.0 kB/秒
d0597a8d45f4ead4fced69ec99f96af5 -

# vim /etc/ha.d/authkeys
在文件最后添加如下内容：
auth 1
1 sha1 d0597a8d45f4ead4fced69ec99f96af5

编辑/etc/ha.d/ha.cf主配置文件
# vim /etc/ha.d/ha.cf
//指定集群节点的名称
node server1.bj.com
node server2.bj.com

//指定传递集群事务信息的方式为广播
bcast eth0 # Linux

编辑/etc/ha.d/haresources文件，定义集群资源
# vim /etc/ha.d/haresoures
在文件最后添加如下内容：
定义IP地址资源及服务资源
server1.bj.com IPaddr::10.1.1.254/24/eth0 httpd

由于server2上的heartbeat配置文件与server1相同 ，因此直接复制配置文件
# scp -p /etc/ha.d/haresources /etc/ha.d/ha.cf /etc/ha.d/authkeys server2:/etc/ha.d/

7、启动heartbeat服务
# service heartbeat start
Starting High-Availability services: INFO: Resource is stopped
Done.

# ssh server2 'service heartbeat start'
Starting High-Availability services: 2015/08/27_15:36:59 INFO: Resource is stopped
Done.

查看日志/var/log/messgage
# tail -30 /var/log/messages
Aug 27 15:36:30 localhost heartbeat: [30438]: info: G_main_add_TriggerHandler: Added signal manual handler
Aug 27 15:36:30 localhost heartbeat: [30438]: info: G_main_add_SignalHandler: Added signal handler for signal 17
Aug 27 15:36:30 localhost heartbeat: [30438]: info: Local status now set to: 'up'
Aug 27 15:36:30 localhost heartbeat: [30438]: info: Link 10.1.1.100:10.1.1.100 up.
Aug 27 15:36:30 localhost heartbeat: [30438]: info: Status update for node 10.1.1.100: status ping
Aug 27 15:36:30 localhost heartbeat: [30438]: info: Link server1.bj.com:eth0 up.
Aug 27 15:37:00 localhost heartbeat: [30438]: info: Link server2.bj.com:eth0 up.
Aug 27 15:37:00 localhost heartbeat: [30438]: info: Status update for node server2.bj.com: status up
Aug 27 15:37:00 localhost harc(default)[30449]: info: Running /etc/ha.d//rc.d/status status
Aug 27 15:37:00 localhost heartbeat: [30438]: info: Comm_now_up(): updating status to active
Aug 27 15:37:00 localhost heartbeat: [30438]: info: Local status now set to: 'active'
Aug 27 15:37:00 localhost heartbeat: [30438]: info: Status update for node server2.bj.com: status active
Aug 27 15:37:00 localhost harc(default)[30467]: info: Running /etc/ha.d//rc.d/status status
Aug 27 15:37:10 localhost heartbeat: [30438]: info: local resource transition completed.
Aug 27 15:37:10 localhost heartbeat: [30438]: info: Initial resource acquisition complete (T_RESOURCES(us))
Aug 27 15:37:11 localhost /usr/lib/ocf/resource.d//heartbeat/IPaddr(IPaddr_10.1.1.254)[30522]: INFO: Resource is stopped
Aug 27 15:37:11 localhost heartbeat: [30486]: info: Local Resource acquisition completed.
Aug 27 15:37:11 localhost heartbeat: [30438]: info: remote resource transition completed.
Aug 27 15:37:11 localhost harc(default)[30565]: info: Running /etc/ha.d//rc.d/ip-request-resp ip-request-resp
Aug 27 15:37:11 localhost ip-request-resp(default)[30565]: received ip-request-resp IPaddr::10.1.1.254/24/eth0 OK yes
Aug 27 15:37:11 localhost ResourceManager(default)[30588]: info: Acquiring resource group: server1.bj.com IPaddr::10.1.1.254/24/eth0 httpd
Aug 27 15:37:11 localhost /usr/lib/ocf/resource.d//heartbeat/IPaddr(IPaddr_10.1.1.254)[30616]: INFO: Resource is stopped
Aug 27 15:37:11 localhost ResourceManager(default)[30588]: info: Running /etc/ha.d/resource.d/IPaddr 10.1.1.254/24/eth0 start
Aug 27 15:37:11 localhost IPaddr(IPaddr_10.1.1.254)[30701]: INFO: Using calculated netmask for 10.1.1.254: 255.255.255.0
Aug 27 15:37:11 localhost IPaddr(IPaddr_10.1.1.254)[30701]: INFO: eval ifconfig eth0:0 10.1.1.254 netmask 255.255.255.0 broadcast 10.1.1.255
Aug 27 15:37:11 localhost avahi-daemon[1740]: Registering new address record for 10.1.1.254 on eth0.IPv4.
Aug 27 15:37:11 localhost avahi-daemon[1740]: Withdrawing address record for 10.1.1.254 on eth0.
Aug 27 15:37:11 localhost avahi-daemon[1740]: Registering new address record for 10.1.1.254 on eth0.IPv4.
Aug 27 15:37:11 localhost /usr/lib/ocf/resource.d//heartbeat/IPaddr(IPaddr_10.1.1.254)[30675]: INFO: Success
Aug 27 15:37:11 localhost ResourceManager(default)[30588]: info: Running /etc/init.d/httpd start

查看本地80端口启动
# netstat -antp | grep :80
tcp 0 0 :::80 :::* LISTEN 30816/httpd

查看本地在eth0网卡上配置了vip
# ifconfig
eth0 Link encap:Ethernet HWaddr 00:0C:29:6A:65:5F
inet addr:10.1.1.1 Bcast:10.1.1.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fe6a:655f/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:13236 errors:0 dropped:0 overruns:0 frame:0
TX packets:10156 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:5251806 (5.0 MiB) TX bytes:1784036 (1.7 MiB)
Interrupt:18 Base address:0x2024

eth0:0 Link encap:Ethernet HWaddr 00:0C:29:6A:65:5F
inet addr:10.1.1.254 Bcast:10.1.1.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
Interrupt:18 Base address:0x2024

lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:2 errors:0 dropped:0 overruns:0 frame:0
TX packets:2 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:168 (168.0 b) TX bytes:168 (168.0 b)

在客户端使用http://10.1.1.254可以查看到server1.bj.com网页

模拟资源转移
在server1上执行如下命令，将server1转移为standby备份节点
# cd /usr/share/heartbeat/

# ./hb_standby
Going standby [all].

查看日志可以看到其他节点已经接收了资源
# tail /var/log/messages
Aug 27 15:47:20 localhost ResourceManager(default)[30888]: info: Running /etc/ha.d/resource.d/IPaddr 10.1.1.254/24/eth0 stop
Aug 27 15:47:20 localhost IPaddr(IPaddr_10.1.1.254)[30971]: INFO: ifconfig eth0:0 down
Aug 27 15:47:20 localhost avahi-daemon[1740]: Withdrawing address record for 10.1.1.254 on eth0.
Aug 27 15:47:20 localhost /usr/lib/ocf/resource.d//heartbeat/IPaddr(IPaddr_10.1.1.254)[30945]: INFO: Success
Aug 27 15:47:20 localhost heartbeat: [30875]: info: all HA resource release completed (standby).
Aug 27 15:47:20 localhost heartbeat: [30438]: info: Local standby process completed [all].
Aug 27 15:47:20 localhost heartbeat: [30438]: WARN: 1 lost packet(s) for [server2.bj.com] [633:635]
Aug 27 15:47:20 localhost heartbeat: [30438]: info: remote resource transition completed.
Aug 27 15:47:20 localhost heartbeat: [30438]: info: No pkts missing from server2.bj.com!
Aug 27 15:47:20 localhost heartbeat: [30438]: info: Other node completed standby takeover of all resources.

在server2上分别查看vip和80端口是否开启
# ifconfig
eth0 Link encap:Ethernet HWaddr 00:0C:29:22:89:6F
inet addr:10.1.1.2 Bcast:10.1.1.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fe22:896f/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:6323 errors:0 dropped:0 overruns:0 frame:0
TX packets:5233 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:1492002 (1.4 MiB) TX bytes:840576 (820.8 KiB)
Interrupt:18 Base address:0x2024

eth0:0 Link encap:Ethernet HWaddr 00:0C:29:22:89:6F
inet addr:10.1.1.254 Bcast:10.1.1.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
Interrupt:18 Base address:0x2024

lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:19 errors:0 dropped:0 overruns:0 frame:0
TX packets:19 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:1951 (1.9 KiB) TX bytes:1951 (1.9 KiB)

# netstat -antp | grep :80
tcp 0 0 :::80 :::* LISTEN 30585/httpd

在客户端浏览器中http://10.1.1.254会看到server2.bj.com网页

在10.1.1.3上搭建nfs服务器，nfs服务器中存储网页文件；两台网站分别将nfs共享目录自动挂载到/var/www/html目录中，并测试文件系统资源 切换

1、在10.1.1.3上搭建nfs服务
# cat /webdata/index.html
<h1> nfs web page </h1>

# cat /etc/exports
/webdata 10.1.1.0/24(ro)

# service nfs start

# showmount -e 10.1.1.3
Export list for 10.1.1.3:
/webdata 10.1.1.0/24

2、在主节点上停止备份节点的heartbeat服务及自身的heartbeat服务

# ssh server2 'service heartbeat stop'
# service heartbeat stop

3、编辑/etc/ha.d/haresources配置文件，添加Filesystem资源
# vim /etc/ha.d/haresouces

server1.bj.com IPaddr::10.1.1.254/24/eth0 Filesystem::10.1.1.3:/webdata::/var/www/html::nfs httpd

将/etc/ha.d/haresources配置文件复制到节点server2.bj.com
# scp /etc/ha.d/haresources server2:/etc/ha.d/

4、启动本地的heartbeat服务，启用备份节点的heartbeat服务

# service heartbeat start
# ssh server2 'service heartbeat start'

在客户端浏览器中输入 http://10.1.1.254可以查看到nfs服务器网页
在主节点运行/usr/share/heartbeat/hb_standby脚本，转换为备份节点，客户端浏览同样是nfs服务器页面
在server2节点上分别查看vip/filesystem/servcice资源转换成功

查看日志可以看到资源转换过程
# tail -40 /var/log/messages
Aug 27 16:28:52 localhost heartbeat: [31714]: info: server2.bj.com wants to go standby [all]
Aug 27 16:28:53 localhost heartbeat: [31714]: info: standby: acquire [all] resources from server2.bj.com
Aug 27 16:28:53 localhost heartbeat: [1566]: info: acquire all HA resources (standby).
Aug 27 16:28:53 localhost ResourceManager(default)[1579]: info: Acquiring resource group: server1.bj.com IPaddr::10.1.1.254/24/eth0 Filesystem::10.1.1.3:/webdata::/var/www/html::nfs httpd
Aug 27 16:28:53 localhost /usr/lib/ocf/resource.d//heartbeat/IPaddr(IPaddr_10.1.1.254)[1608]: INFO: Resource is stopped
Aug 27 16:28:53 localhost ResourceManager(default)[1579]: info: Running /etc/ha.d/resource.d/IPaddr 10.1.1.254/24/eth0 start
Aug 27 16:28:53 localhost IPaddr(IPaddr_10.1.1.254)[1698]: INFO: Using calculated netmask for 10.1.1.254: 255.255.255.0
Aug 27 16:28:53 localhost IPaddr(IPaddr_10.1.1.254)[1698]: INFO: eval ifconfig eth0:0 10.1.1.254 netmask 255.255.255.0 broadcast 10.1.1.255
Aug 27 16:28:53 localhost avahi-daemon[1740]: Registering new address record for 10.1.1.254 on eth0.IPv4.
Aug 27 16:28:53 localhost avahi-daemon[1740]: Withdrawing address record for 10.1.1.254 on eth0.
Aug 27 16:28:53 localhost avahi-daemon[1740]: Registering new address record for 10.1.1.254 on eth0.IPv4.
Aug 27 16:28:53 localhost /usr/lib/ocf/resource.d//heartbeat/IPaddr(IPaddr_10.1.1.254)[1667]: INFO: Success
Aug 27 16:28:53 localhost /usr/lib/ocf/resource.d//heartbeat/Filesystem(Filesystem_10.1.1.3:/webdata)[1804]: INFO: Resource is stopped
Aug 27 16:28:53 localhost ResourceManager(default)[1579]: info: Running /etc/ha.d/resource.d/Filesystem 10.1.1.3:/webdata /var/www/html nfs start
Aug 27 16:28:53 localhost Filesystem(Filesystem_10.1.1.3:/webdata)[1887]: INFO: Running start for 10.1.1.3:/webdata on /var/www/html
Aug 27 16:28:53 localhost /usr/lib/ocf/resource.d//heartbeat/Filesystem(Filesystem_10.1.1.3:/webdata)[1879]: INFO: Success
Aug 27 16:28:53 localhost ResourceManager(default)[1579]: info: Running /etc/init.d/httpd start
Aug 27 16:28:53 localhost heartbeat: [1566]: info: all HA resource acquisition completed (standby).
Aug 27 16:28:53 localhost heartbeat: [31714]: info: Standby resource acquisition done [all].
Aug 27 16:28:54 localhost heartbeat: [31714]: info: remote resource transition completed.
Aug 27 16:40:22 localhost heartbeat: [31714]: info: server1.bj.com wants to go standby [all]
Aug 27 16:40:23 localhost heartbeat: [31714]: info: standby: server2.bj.com can take our all resources
Aug 27 16:40:23 localhost heartbeat: [2040]: info: give up all HA resources (standby).
Aug 27 16:40:23 localhost ResourceManager(default)[2053]: info: Releasing resource group: server1.bj.com IPaddr::10.1.1.254/24/eth0 Filesystem::10.1.1.3:/webdata::/var/www/html::nfs httpd
Aug 27 16:40:23 localhost ResourceManager(default)[2053]: info: Running /etc/init.d/httpd stop
Aug 27 16:40:23 localhost ResourceManager(default)[2053]: info: Running /etc/ha.d/resource.d/Filesystem 10.1.1.3:/webdata /var/www/html nfs stop
Aug 27 16:40:23 localhost Filesystem(Filesystem_10.1.1.3:/webdata)[2119]: INFO: Running stop for 10.1.1.3:/webdata on /var/www/html
Aug 27 16:40:23 localhost Filesystem(Filesystem_10.1.1.3:/webdata)[2119]: INFO: Trying to unmount /var/www/html
Aug 27 16:40:23 localhost Filesystem(Filesystem_10.1.1.3:/webdata)[2119]: INFO: unmounted /var/www/html successfully
Aug 27 16:40:23 localhost /usr/lib/ocf/resource.d//heartbeat/Filesystem(Filesystem_10.1.1.3:/webdata)[2110]: INFO: Success
Aug 27 16:40:23 localhost ResourceManager(default)[2053]: info: Running /etc/ha.d/resource.d/IPaddr 10.1.1.254/24/eth0 stop
Aug 27 16:40:23 localhost IPaddr(IPaddr_10.1.1.254)[2263]: INFO: ifconfig eth0:0 down
Aug 27 16:40:23 localhost avahi-daemon[1740]: Withdrawing address record for 10.1.1.254 on eth0.
Aug 27 16:40:23 localhost /usr/lib/ocf/resource.d//heartbeat/IPaddr(IPaddr_10.1.1.254)[2235]: INFO: Success
Aug 27 16:40:23 localhost heartbeat: [2040]: info: all HA resource release completed (standby).
Aug 27 16:40:23 localhost heartbeat: [31714]: info: Local standby process completed [all].
Aug 27 16:40:24 localhost heartbeat: [31714]: WARN: 1 lost packet(s) for [server2.bj.com] [1856:1858]
Aug 27 16:40:24 localhost heartbeat: [31714]: info: remote resource transition completed.
Aug 27 16:40:24 localhost heartbeat: [31714]: info: No pkts missing from server2.bj.com!
Aug 27 16:40:24 localhost heartbeat: [31714]: info: Other node completed standby takeover of all resources.

CRM:Cluster Resource Manager
为那些本身不支持HA功能的应用程序提供调用的基础平台
haresource(heartbeat v1)
crm,haresource(heartbeat v2)
pacemaker(heartbeat v3)
rgmanager(RHCS)

crmd：提供管理集群资源的API (例如在heartbeat v1中haresource配置文件就是一个管理集群资源的接口)
GUI
CLI

Resource Type:
primitive(native)基本资源
group
clone
例如：
STONITH
Cluster Filesystem集群文件系统(gfs2/ocfs2)
dlm:Distributed Lock Manager分布式锁管理器
集群文件系统利用dlm机制通知各节点文件锁的状态
master/slave
drbd：distributed replaction block device分布式复制块设备

在一个集群服务中，如果定义了多个资源，默认情况下，资源是平均分配的；如果想让多个资源运行在同一个节点上，可以定义资源组或者通过排列约束完成

资源粘性：
资源是否倾向于留在当前节点
正数：倾向
负数：离开

资源约束：
location
colocation
order

使用crm进行集群资源管理时，由CIB保存集群资源的配置信息

CIB：Cluster Information Base集群信息库
xml格式

在ha.cf文件中启用crm后，haresource文件中定义的资源将会失效；如果想让crm读取haresource文件中定义的集群资源，可以执行/usr/lib/heartbeat中的haresource2cib.py脚本，该脚本会将haresource文件中定义的资源转换为crm可以读取的xml格式的文件保存到/var/lib/heartbeat/crm目录中

crmd进程默认监听在tcp 5560端口

配置基于crm的heartbeat

1、关闭server1和server2上的Heartbeat服务
# ssh server2 'service heartbeat stop'
# service heartbeat stop

2、修改server1上的/etc/ha.d/ha.cf配置文件，并将其复制到server2上
在文件最后添加如下内容：
# vim /etc/ha.d/ha.cf
crm respawn

3、在server1和server2分别启动heartbeat服务
# service heartbeat start
# ssh server2 'service heartbeat start'
查看机器的5560/tcp端口正常开启
# netstat -tnpl | grep :5560
tcp 0 0 0.0.0.0:5560 0.0.0.0:* LISTEN 23771/mgmtd

通过crm_mon监控命令可以查看到当前有两个集群节点，没有集群资源
# crm_mon

4、打开heartbeat gui界面，配置集群资源
在使用gui界面，需要输入hacluster用户名及密码，hacluster用户存在，需要手动设置密码
# echo "redhat" | passwd --stdin hacluster
# hb_gui &

输入要连接集群节点的IP地址及用户名、密码；
集群节点IP要写DC所在节点的IP，通过crm_mon命令可以查看到哪个节点是DC

连接成功后，界面如下所示：

定义vip和httpd服务资源，定义完毕后，可以看到两个资源是均衡分散在两个不同的节点上运行的

定义资源组webgroup，使vip和httpd资源同时运行在同一个节点上

删除httpd资源，在webgroup组中添加filesystem资源，自动挂载nfs的共享存储

定义排列约束将httpd与webstore资源放在一起

定义排列约束，将webip与webstore资源放在一起

定义顺序约束决定资源的启动顺序

当前资源运行在server2上，将server2转为standby后，资源会转移到server1上。当将server2转为active后，资源会自动转回到server2上，如果想让资源保留在server1上不转回，可以通过定义资源粘性完成

如果想让资源更倾向于运行在server2上，可以定义位置约束完成

配置基于heartbeat v2，crm实现MySQL高可用集群

/etc/my.cnf ---> /etc/mysql/mysql.cnf
--default-extra-file=

1、准备nfs服务器，建立逻辑卷/dev/myvg/mydata，并自动挂载到/mydata目录；在/mydata目录中建立数据目录data；并将data目录的属主、组分别设置为mysql用户 ，并/mysqldata目录通过nfs导出
建立mysql用户时，确保mysql用户的uid与gid一致

# lvscan
ACTIVE '/dev/myvg/mydata' [5.00 GiB] inherit
# groupadd -g 27 mysql
# useradd -u 27 -g 27 mysql
# chown -R myql.mysql /mydata/data

# cat /etc/exports
/webdata 172.16.100.0/24(ro)
/mydata 172.16.100.0/24(rw,no_root_squash)

# exportfs -rav
exporting 172.16.100.0/24:/mydata
exporting 172.16.100.0/24:/webdata

2、分别在server1和server2上挂载nfs目录，并测试本地mysql用户是否可以向data目录中创建文件
server1操作：
# groupadd -g 27 mysql
# useradd -g 27 -u 27 mysql
# mount -t nfs 172.16.100.253:/mydata /mydata
# su - mysql
# touch /mydata/data/a
测试创建文件没有问题后，卸载/mydata
# umount /mydata

使用同样的方法在server2上创建用户，并测试用户的写入权限

3、在server1和server2分别安装mysql
server1:
# yum install -y mysql-server
初始化mysql时，需要有数据目录，因此暂时先手动挂载nfs目录，初化化完毕后再次卸载
# mount -t nfs 172.16.100.253:/mydata /mydata

修改mysql配置文件，在配置文件中指定数据目录位置
# vim /etc/my.cnf
datadir= /mydata/data
# scp /etc/my.cnf server2:/etc/

# service mysqld start
# umount /mydata
# service mysqld stop
# chkconfig mysqld off

server2上同样安装mysql软件 ，不需要初始化；

4、配置集群资源

5、在nfs上安装mysql客户端工具，并测试连接mysql
# mysql -u root -p -h 172.16.100.252

连接成功后，任意创建测试数据库及表；切换集群节点，在nfs上同样可以正常连接mysql