Corosync/openais+pacemaker+DRBD+Web实现web+Drbd服务高可用集群

配置使用Corosync/openais+pacemaker+Drbd 来实现web+Drbd服务的高可用集群

一、准备工作

1、配置node1和node2的物理IP地址：|

node1:

ifconfig eth0 192.168.0.202/24

node2:

ifconfig eth0 192.168.0.204/24

2、配置两主机名，保证重启之后主机名不变

node1:

sed -i 's@\(HOSTNAME=\).*@\1node1.a.org@g'

hostname node1.a.org

node2：

sed -i 's@\(HOSTNAME=\).*@\1node2.a.org@g'

hostname node2.a.org

3、配置/etc/hosts文件，保证能够进行本地主机名解析

node1：

vim /etc/hosts 添加如下内容：

192.168.0.202 node1.a.org node1

192.168.0.204 node2.a.org node2

在node2上进行同样的配置

4、配置两个主机之间能够实现无密码访问

node1:

ssh-keygen -t rsa

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node2

node2:

ssh-keygen -t rsa

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node1

二、安装Corosync/openais+pacemaker

1、下载、安装软件包

我们只是为了验证这个解决方案，为了方便演示，使用rpm包进行安装

所需的软件包：

cluster-glue-1.0.6-1.6.el5.i386.rpm

libesmtp-1.0.4-5.el5.i386.rpm

cluster-glue-libs-1.0.6-1.6.el5.i386.rpm

openais-1.1.3-1.6.el5.i386.rpm

corosync-1.2.7-1.1.el5.i386.rpm

openaislib-1.1.3-1.6.el5.i386.rpm

corosynclib-1.2.7-1.1.el5.i386.rpm

pacemaker-1.0.11-1.2.el5.i386.rpm

pacemaker-libs-1.0.11-1.2.el5.i386.rpm

heartbeat-3.0.3-2.3.el5.i386.rpm

perl-TimeDate-1.16-5.el5.noarch.rpm

heartbeat-libs-3.0.3-2.3.el5.i386.rpm

resource-agents-1.0.4-1.1.el5.i386.rpm

将所有的软件包放到一个自建的目录yum中，方便安装

安装软件包

cd /yum

yum localinstall * --nogpgcheck -y

配置node1

2、配置node1的corosync

cd /etc/corosync/

cp corosync.conf.example corosync.conf 创建配置文件

修改配置文件

vim corosync.conf 添加如下内容：

service {

ver: 0

name: pacemaker

}

aisexec { 这个是安装了openais才需要添加的内容

user: root

group: root

}

并设定此配置文件中 bindnetaddr后面的IP地址为你的网卡所在网络的网络地址，我们这里的两个节点在192.168.0.0网络，因此这里将其设定为192.168.0.0；如下

bindnetaddr: 192.168.0.0

保存退出即可

创建所需要的日志目录

mkdir /var/log/cluster/

3、使用corosync-keygen 生成一个密钥，来进行同个集群主机的认证

corosync-keygen

4、将配置文件和密钥同步到node2上，并在node2上创建日志目录

scp –p corosync.conf authkey node2.a.org;/etc/corosync/

ssh node2 ‘mkdir –v /var/log/cluster’

5、启动node1的corosync服务

/etc/init.d/corosync start

6、验证是否成功启动了服务，在两个节点上进行同样的操作

（1）查看corosync引擎是否正常启动：

grep -e "Corosync Cluster Engine" -e "configuration file" /var/log/messages 下面为输出信息





（2）查看初始化成员节点通知是否正常发出：

grep TOTEM /var/log/messages





（3）检查启动过程中是否有错误产生：

grep ERROR: /var/log/messages | grep -v unpack_resources 应该没有信息输出

（4）查看pacemaker是否正常启动：

grep pcmk_startup /var/log/messages





如果上面命令执行均没有问题，接着可以执行如下命令启动node2上的corosync

ssh node2 -- /etc/init.d/corosync start

注意：启动node2需要在node1上使用如上命令进行，不要在node2节点上直接启动；

使用同样的方法验证node2是否成功启动

（5）使用Crm status命令， 查看两个节点的信息，看该服务是否已经同步





表示两个节点上的服务已经同步

三、安装DRBD

1、node1和node2两个节点上各提供了一个大小相同的分区作为drbd设备；我们这里为在两个节点上均为/dev/sda5，大小为1G；

2、安装软件包

安装drbd使用的软件包：

drbd83-8.3.8-1.el5.centos.i386.rpm

kmod-drbd83-8.3.8-1.el5.centos.i686.rpm

yum -y --nogpgcheck localinstall drbd83-8.3.8-1.el5.centos.i386.rpm kmod-drbd83-8.3.8-1.el5.centos.i686.rpm

3、配置drbd

1）复制样例配置文件为即将使用的配置文件：

cp /usr/share/doc/drbd83-8.3.8/drbd.conf /etc

2）配置/etc/drbd.d/global_common.conf

global {

usage-count no;

# minor-count dialog-refresh disable-ip-verification

}

common {

protocol C;

handlers {

pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";

pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";

local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";

fence-peer "/usr/lib/drbd/crm-fence-peer.sh";

split-brain "/usr/lib/drbd/notify-split-brain.sh root";

out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";

before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";

after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;

}

startup {

wfc-timeout 120;

degr-wfc-timeout 120;

}

disk {

on-io-error detach;

fencing resource-only;

}

net {

cram-hmac-alg "sha1";

shared-secret "mydrbdlab";

}

syncer {

rate 100M;

}

}

4、定义我们要使用的web资源/etc/drbd.d/web.res，内容如下：

resource web {

on node1.a.org {

device /dev/drbd0; 定义drbd设备号

disk /dev/sda5; 定义drbd设备所使用的磁盘

address 192.168.0.202:7789; 此drbd设备监听的网络地址和端口

meta-disk internal;

}

on node2.a.org {

device /dev/drbd0;

disk /dev/sda5;

address 192.168.0.204:7789;

meta-disk internal;

}

}

将这两个配置文件拷贝到node2上，以保证配置文件相同

cd /etc/drbd.d

scp web.res global_common.conf node2:/etc/drbd.d

scp /etc/drbd.conf node2:/etc/

5、在两个节点上初始化已定义的资源并启动服务：

1）初始化资源，在Node1和Node2上分别执行：

drbdadm create-md web





2）启动服务，在Node1和Node2上分别执行：

/etc/init.d/drbd start





3）查看启动状态：

cat /proc/drbd





也可以使用drbd-overview命令来查看：

drbd-overview





从上面的信息中可以看出此时两个节点均处于Secondary状态。我们要将其设定为Primary/Secondary模型，接下来需要将node1设置为Primary,在node1上执行如下命令：

drbdadm -- --overwrite-data-of-peer primary web

注：这个设置primary节点的命令只在第一次使用，以后就可以直接使用drbdadm primary web

而后再次查看状态，可以发现数据同步过程已经开始：

drbd-overview





此时我们还可以使用如下命令动态的查看同步过程

watch -n 1 'drbd-overview'

当数据同步完成以后再次查看状态

drbd-overview





可以发现节点已经为实时状态，且两节点已经成为Primary/Secondary模型

6、将两个节点上的/dev/drbd0设备进行格式化（只有为主节点上的drbd设备能够格式化，所以要通过改变节点的角色来实现）

现在node1为主节点，所以可以直接进行格式化

mke2fs -j /dev/drbd0

然后让node1成为从节点，node2称为主节点进行drbd设备的格式化

node1:

drbdadm seconday web

node2:

drbdadm primary web

mke2fs -j /dev/drbd0

7、关闭drbd服务，并确保两节点上的drbd服务不会开机自动启动

/etc/init.d/drbd stop

ssh node2 -- '/etc/init.d/drbd stop'

chkconfig drbd off

ssh node2 -- 'chkconfig drbd off'

四、安装httpd

在node1和node2上分别安装httpd

Yum install httpd –y

chkconfig httpd off 保证web服务不会开机自动启动

五、配置web服务为高可用

1、查看当前集群的配置信息，确保已经配置全局属性参数为两节点集群所适用：

crm configure show





确保有stonith-enabled和no-quorum-policy出现且其值与如上输出信息中相同。

否则，可以分别使用如下命令进行配置：

crm configure property stonith-enabled=false

crm configure property no-quorum-policy=ignore

2、设定web服务的基本资源

配置VIP资源

crm configure primitive http_IP ocf:heartbeat:IPaddr params ip=192.168.0.85

配置httpd资源

crm configure primitive httpd lsb:httpd 这个资源可是实现启用本节点的httpd服务

查看web服务资源的运行状态

crm status





3、配置web服务的资源约束

web服务的这两个资源必须运行在同一个节点上才能保证web服务的正常运行，所以对这两资源进行排列约束

crm configure colocation http_IP_on_httpd inf: httpd http_IP





由此可见，这两个资源已经运行到同一个节点上了

六、配置drbd服务为高可用

将已经配置好的drbd设备/dev/drbd0定义为集群服务；

1）配置drbd为集群资源：

drbd需要同时运行在两个节点上，但只能有一个节点（primary/secondary模型）是Master，而另一个节点为Slave；因此，它是一种比较特殊的集群资源，其资源类型为多状态（Multi-state）clone类型，即主机节点有Master和Slave之分，且要求服务刚启动时两个节点都处于slave状态。

[root@node1 ~]# crm

crm(live)# configure

crm(live)configure# primitive httpd_drbd_web ocf:heartbeat:drbd params drbd_resource=web op monitor role=Master interval=60s timeout=40s op monitor role=Slave interval=70s timeout=40s

crm(live)configure# master MS_Webdrbd httpd_drbd_web meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"

crm(live)configure# verify

crm(live)configure# commit

查看关于httpd_drbd_web的配置

crm(live)configure# show httpd_drbd_web





查看资源的运行状态

crm status 显示如下：





由上面的信息可以看出此时的drbd服务的Primary节点为node1.a.org，Secondary节点为node2.a.org，我们在node1上使用如下命令验正当前主机是否已经成为web资源的Primary节点：

drbdadm role web





2）为Primary节点上的web资源创建自动挂载的集群服务

MS_Webdrbd的Master节点即为drbd服务web资源的Primary节点，此节点的设备/dev/drbd0可以挂载使用，且在某集群服务的应用当中也需要能够实现自动挂载。假设我们这里的web资源是为Web服务器集群提供网页文件的共享文件系统，其需要挂载至/var/www/html目录。

因为此自动挂载的集群资源需要运行于drbd服务的Master节点上，并且只能在drbd服务将某节点设置为Primary以后方可启动，所以还需要为这两个资源建立排列约束和顺序约束。

# crm

crm(live)# configure

crm(live)configure# primitive WebFS ocf:heartbeat:Filesystem params device="/dev/drbd0" directory="/www" fstype="ext3"

crm(live)configure# colocation drbd_webFS_on_MS_webdrbd inf: WebFS MS_Webdrbd:Master

crm(live)configure# order _after_MS_Webdrbd inf: MS_Webdrbd:promote WebFS:start

crm(live)configure# verify

crm(live)configure# commit

查看集群中资源的运行状态：

crm status





由上面的信息可以发现，此时WebFS运行的节点和drbd服务的Primary节点均为node1.a.org

3）测试

在node1的/var/www/html目录创建一个网页文件，而后在故障故障转移后查看node2的/var/www/html目录下是否存在这些文件。

echo node1 > /var/www/html/index.html

我们模拟node1节点故障，看此些资源可否正确转移至node2。

node1：

crm node standby

由于我们在/etc/drbd.d/global_common.conf配置文件中开启了资源隔离和脑列处理机制，所以在crm的配置文件cib中将会自动出现一个位置约束配置，当主节点宕机之后，禁止从节点变为主节点，以免当主节点恢复的时候产生脑列，进行资源争用，但是我们此时只是为了验证资源能够流转，所以将这个位置约束删除：

[root@node1 ~]# crm

crm(live)# configure

crm(live)configure# show





可以看到我们内有定义的一个以location开头的位置约束，

crm(live)configure# edit

使用VI编辑器打开这个配置文件，将这一行删除即可，保存退出，提交设置：

crm(live)configure# commit

然后在node2上进行状态查看

crm status





由上面的信息可以推断出node1停止服务，所有资源已经正常转移至node2。

在node2可以看到在node1作为primary节点时创建保存至/var/www/html目录中的数据，在node2上是否存在一份拷贝。





文件存在

让node1上线，看我们drbd资源是否会分布在两个节点上





可见drbd高可用服务的资源全部在node2上，也就是我们创建的约束条件得到了证实

到此使用Corosync/openais+pacemaker+DRBD实现DRBD服务高可用集群已经实现

七、将web高可用和drbd高可用的资源整合

web服务必须运行在drbd服务的主节点上，这样才能保证drbd可以存储web服务的数据

通过使用排列约束将web服务的资源运行在drbd服务的主节点上：

colocation httpd_on_drbd inf: http_IP_on_httpd MS_Webdrbd:Master

只有当drbd服务的所有资源启动之后才能启动web服务的资源，所以对web服务和drbd服务的资源配置次序约束

crm configure order httpd_after_drbd inf: drbd_web_FS_after_MS_Webdrbd:promote http_IP_on_httpd:start

查看资源的运行状态





表示我们所有的资源都运行在了主节点node2上了

将主节点node2设置为standby，看所有的资源是否能够成功转移

当我们没有删除自动产生的位置约束的时候，运行状态如下图所示：





刚开始时我们可以看到在主节点没有启动的时候，没有任何资源在运行，这表示我们配置的次序约束成功

然后我们删除自动产生的位置约束，继续查看运行状态：





表示node1已经成为主节点所有的资源都转移到了node1上

八、测试

通过浏览器测试测试web+Drbd高可用集群是否实现

1、在此时的主节点上的drbd设备挂载目录内生成一个网页文件

echo node2 > /var/www/html/index.html

2、在浏览器中输入IP:192.168.0.85 看我们能否访问到页面





此时我们将主节点node2设置为standby，看所有的资源是否能够成功转移

（注意：删除默认产生的位置约束）

node2：

crm node standby

这个同步的过程时间比较长，我们要耐心等待





可见node1已经称为主节点，所有的资源都已经同步到主节点上，我们再次使用浏览器验证：





可见数据在node1上成功同步

web+Drdb服务高可用集群已经成功实现