Corosync+DRBD构建高可用web服务

实验平台：virtualbox 4.12

操作系统：RedHat5.4

实验拓扑：




本实验使用两台主机模拟实现高可用集群，使用DRBD实现分布式存储，在一台主机宕机是可以保证数据的完整及服务的正常。

一. 首先进行一些基本的准备设置。
# vim /etc/sysconfig/network-scripts/ifcfg-eth0
#vim /etc/sysconfig/network
安装实验规划进行相应修改即可
#vim /etc/hosts
添加：

192.168.56.10   node1.a.org node1
192.168.56.30   node2.a.org node2

拷贝该文件至node2
# scp /etc/hosts node2:/etc/
接下来要设置ssh免密码连接

[root@node1 ~]#ssh-keygen -t rsa
[root@node1 ~]#ssh-copy-id -i ~/.ssh/id_rsa.pub root@node2
[root@node2 ~]#ssh-keygen -t rsa
[root@node2 ~]#ssh-copy-id -i ~/.ssh/id_rsa.pub root@node1

二.安装DRBD，用来构建分布式存储。
1.这里要选用适合自己系统的版本进行安装，我用到的是

drbd83-8.3.8-1.el5.centos.i386.rpm
kmod-drbd83-8.3.8-1.el5.centos.i686.rpm

下面开始安装，两台主机都要装上：

[root@node1 ~]# yum localinstall *.rpm -y –nogpgcheck
[root@node1 ~]# scp *.rpm node2:/root
[root@node2 ~]# yum localinstall *.rpm -y –nogpgcheck

还要为DRBD准备分区，同样是要在两台主机上分别进行，关于分区的操作就不细述来，很简单，我在两台主机上各分了一个5G的分区，盘符都是/dev/sda5
2.配置DRBD

[root@node1 ~]# cp /usr/share/doc/drbd83-8.3.8/drbd.conf /etc/
cp: overwrite `/etc/drbd.conf'? Y   # 这里要选择覆盖
[root@node1 ~]# scp /etc/drbd.conf node2:/etc/

编辑配置文件：
[root@node1 ~]# vim /etc/drbd.d/global_common.conf

global {
usage-count no;
}
common {
protocol C;
handlers {
pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
}
startup {
wfc-timeout 120;
degr-wfc-timeout 120;
}
disk {
on-io-error detach;
fencing resource-only;
}
net {
cram-hmac-alg "sha1";
shared-secret "mydrbdlab";
}
syncer {
rate 100M;
}

为DRBD定义一个资源

[root@node1 ~]# vim /etc/drbd.d/web.res       #这里名字可以随便起，但一定要是.res结尾的文件
resource web {
on node1.a.org {
device    /dev/drbd0;
disk      /dev/sda5;
address   192.168.56.10:7789;
meta-disk internal;
}
on node2.a.org {
device    /dev/drbd0;
disk      /dev/sda5;
address   192.168.56.30:7789;
meta-disk internal;
}
}
[root@node1 ~]# scp /etc/drbd.d/web.res node2:/etc/drbd.d/

初始化资源，在Node1和Node2上分别执行：

[root@node1 ~]# drbdadm create-md web
[root@node2 ~]# drbdadm create-md web
#启动服务：
[root@node1 ~]# /etc/init.d/drbd start
[root@node2 ~]# /etc/init.d/drbd start

设置其中一个节点为主节点
# drbdsetup /dev/drbd0 primary –o
3.创建文件系统

[root@node1 ~]# mke2fs -j -L DRBD /dev/drbd0
[root@node1 ~]# mkdir /mnt/drbd
[root@node1 ~]# mount /dev/drbd0 /mnt/drbd

三.安装corosync
用到的软件包有

cluster-glue-1.0.6-1.6.el5.i386.rpm
cluster-glue-libs-1.0.6-1.6.el5.i386.rpm
corosync-1.2.7-1.1.el5.i386.rpm
corosynclib-1.2.7-1.1.el5.i386.rpm
heartbeat-3.0.3-2.3.el5.i386.rpm
heartbeat-libs-3.0.3-2.3.el5.i386.rpm
libesmtp-1.0.4-5.el5.i386.rpm
openais-1.1.3-1.6.el5.i386.rpm
openaislib-1.1.3-1.6.el5.i386.rpm
pacemaker-1.0.11-1.2.el5.i386.rpm
pacemaker-libs-1.0.11-1.2.el5.i386.rpm
resource-agents-1.0.4-1.1.el5.i386.rpm

[root@node1 ~]# yum localinstall *.rpm -y --nogpgcheck
配置corosync

[root@node1 ~]#cd /etc/corosync
[root@node1 ~]# cp corosync.conf.example corosync.conf
[root@node1 ~]#vim corosync.conf
bindnetaddr: 192.168.56.0
#并添加如下内容：
service {
ver:  0
name: pacemaker
}
aisexec {
user:  root
group:  root
}

生成节点间通信时用到的认证密钥文件：

[root@node1 corosync]# corosync-keygen
[root@node1 corosync]# scp -p corosync.conf authkey  node2:/etc/corosync/
[root@node1 ~]#  mkdir /var/log/cluster
[root@node1 ~]#  ssh node2  'mkdir /var/log/cluster'

启动服务

[root@node1 ~]# /etc/init.d/corosync start
[root@node1 ~]# ssh node2 -- /etc/init.d/corosync start
[root@node1 ~]# crm configure property stonith-enabled=false       //禁用stonith
为集群添加集群资源
[root@node1 ~]#crm configure primitive WebIP ocf:heartbeat:IPaddr params ip=192.168.56.20
[root@node1 ~]# crm configure property no-quorum-policy=ignore
为资源指定默认黏性值
[root@node1 ~]# crm configure rsc_defaults resource-stickiness=100
[root@node1 ~]# crm
crm(live)# configure
crm(live)configure# primitive webdrbd ocf:heartbeat:drbd params drbd_resource=web op monitor role=Master interval=50s timeout=30s op monitor role=Slave interval=60s timeout=30s
crm(live)configure# master MS_Webdrbd webdrbd meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"

为Primary节点上的web资源创建自动挂载的集群服务

# crm
crm(live)# configure
crm(live)configure# primitive WebFS ocf:heartbeat:Filesystem params device="/dev/drbd0" directory="/www" fstype="ext3"
crm(live)configure# colocation WebFS_on_MS_webdrbd inf: WebFS MS_Webdrbd:Master
crm(live)configure# order WebFS_after_MS_Webdrbd inf: MS_Webdrbd:promote WebFS:start
crm(live)configure# verify
crm(live)configure# commit

查看集群中资源的运行状态：




下面我们在两个节点分别安装httpd服务用于测试

[root@node1 ~]# yum install httpd -y
[root@node2 ~]# yum install httpd -y
root@node1 ~]# setenforce 0        //关闭SElinux
root@node2 ~]# setenforce 0
[root@node1 ~]# vim /etc/httpd/conf/httpd.conf
DocumentRoot "//mnt/drbd/html"
[root@node1 ~]# echo "<h1>Node1.a.org</h1>" > /mnt/debd/html/index.html
[root@node1 ~]# crm configure primitive WebSite lsb:httpd      //添加httpd为资源
[root@node1 ~]# crm configure colocation website-with-ip INFINITY: WebSite WebIP //是IP和web服务在同一主机上
[root@node1 ~]# crm configure order httpd-after-ip mandatory: WebIP WebSite      //定义资源启动顺序

查看资源状态：





下面在浏览器内输入192.168.56.20，可以看到





此时停掉node1
查看资源状态：




刷新页面可以看到




说明corosync和DRBD都工作正常。