建立高可用的Moosefs文件系统

来源: Linux论坛 　日期： 2009.12.07 22:53

一、概述
Moose通过DNBD提供磁盘及时同步，通过HeartBeat提供Failover,来达到高可用。

二、系统环境，软件版本及所需要的包
1、系统环境：
System：RHEL5U3
Kernel：2.6.18-128.el5

2、软件版本：
HeartBeat heartbeat-3.0.0-33.2
DRBD：drbd-8.3.2
MooseFS：mfs-1.5.12

3、所需包：
Kernel-devel
Flex
Gcc
三、安装Heartbeat
1.

我这人比较懒，直接用Yum装的,
# vim /etc/yum.repos.d/rhel-debuginfo.repo
[ha]
name=Heartbeat
baseurl=http://download.opensuse.org/repositories/server:/ha-clustering/RHEL_5/
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
# yum install heartbeat.i386 heartbeat-devel.i38

2、编辑HeartBeat配置文件
# cp /usr/share/doc/heartbeat-3.0.0/ha.cf /etc/ha.d/.
# vim /etc/ha.d/ha.cf
debugfile /var/log/ha-debug
logfile /var/log/ha-log
logfacility local0
keepalive 2 //设定heartbeat之间的时间间隔为2秒.
deadtime 30 //在30秒后宣布节点死亡。
warntime 10 //在日志中发出“late heartbeat“警告之前等待的时间，单位为秒。
initdead 120 //
udpport 694 //使用端口694进行bcast和ucast通信。
mcast eth0 225.0.0.1 694 1 0 //组播地址
ucast eth0 192.168.1.234 //使用的网卡及ip
auto_failback on //on是主机故障后,是否自动切回
node oss1 //节点1
node oss2 //节点2
ping 192.168.1.46 // ping 地址
respawn hacluster /usr/lib/heartbeat/ipfail
apiauth ipfail gid=haclient uid=hacluster

3、编辑HA验证文件
# cp /usr/share/doc/heartbeat-3.0.0/authkeys /etc/ha.d/authkeys
# vim /etc/ha.d/authkeys
auth 3
#1 crc
#2 sha1 HI!
3 md5 Hello!
我选择的是Md5的验证方式,
最后记得将authkeys 权限给为600
# chmod 600 authkeys

4、编辑haresources
oss1 192.168.1.230 drbddisk::r0 Filesystem::/dev/drbd0::/mnt/mfs::ext3 mfsmaster
四、安装DRBD
1、安装Drbd
# tar zxvf drbd-8.3.2.tar.gz
# cd drbd-8.3.2
# make KERNVER=2.6.18-128.el5 KDIR=/usr/src/kernels/2.6.18-128.el5-i686
# make install
# vim /etc/drbd.conf
global {
usage-count yes; //是否参加使用者统计

2、启动DRbd
首先要创建Drbd所需要的数据块
# drbdadm create-md r0 //创建数据块，R0是上面配置文件中指定的
# mknod /dev/drbd0 b 147 0 //创建设备名称drbd0
# service drbd start //启动drbd 记得启动另外一台。
# [root@oss2 ~]# cat /proc/drbd //查看proc中DRBD的状态
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by root@oss2, 2009-09-16 19:09:26
0: cs:Connected ro:Secondary/ Secondary ds:UpToDate/UpToDate C r----
ns:4494 nr:14497 dw:18335 dr:2510 al:4 bm:12 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
DRBD启动后2台机器都是备用状态,它无法判断哪边是主机，以哪边的磁盘为依据，后面需要初始化
# drbdsetup /dev/drbd0 primary –o
# cat /proc/drbd
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r----
发现执行完，当前的机器已经变为Primary
# mkdir /mnt/mfs
# chown -R mfs.mfs /mnt/mfs
# mkfs.ext3 /dev/drbd0
# mount /dev/drbd0 /mnt/mfs
五、安装MooseFS
1、安装元服务器
# tar zxvf mfs-1.5.12.tar.gz
# cd mfs-1.5.12
# useradd -s /sbin/nologin mfs
# ./configure --prefix=/mnt/mfs --with-default-user=mfs --with-default-group=mfs
# make
# make install
Ps: 我们把mfs安装在drbd的目录/mnt/mfs中，这样Failover 的时候会切换到backup ,这样mfs的数据信息会保持同步

2、配置元服务器
[root@oss1 opt]# cat /mnt/mfs/mfs/etc/mfsmaster.cfg
WORKING_USER = mfs
WORKING_GROUP = mfs
LOCK_FILE = /var/run/mfs/mfsmaster.pid
DATA_PATH = /mnt/mfs/mfs/var/mfs (这个地方一定要在drbd中，否则切换后找到不原来的文件)
SYSLOG_IDENT = mfsmaster
BACK_LOGS = 50
REPLICATIONS_DELAY_INIT = 300
REPLICATIONS_DELAY_DISCONNECT = 3600
MATOCS_LISTEN_HOST = *
MATOCS_LISTEN_PORT = 9420
MATOCU_LISTEN_HOST = *
MATOCU_LISTEN_PORT = 9421
CHUNKS_LOOP_TIME = 300
CHUNKS_DEL_LIMIT = 100
CHUNKS_REP_LIMIT = 15

3、启动元服务器
# mkdir –p /mnt/mfs/mfs/var/mfs
# chown –R mfs.mfs /mnt/mfs/mfs/var/mfs
# mkfs.ext3 /dev/drbd0
# /mnt/mfs/mfs/sbin/mfsmaster
# 查看 netstat –ant
tcp 0 0 0.0.0.0:9420 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:9421 0.0.0.0:* LISTEN
可以看到mfs已经在9420与9421上监听了

4、安装chunkserver
# tar zxvf mfs-1.5.12.tar.gz
# cd mfs-1.5.12
# useradd -s /sbin/nologin mfs
# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster --disable-mfsmount
# make
# make install

5、配置chunkserver
# [root@wenba ~]# cat /usr/local/mfs/etc/mfschunkserver.cfg
WORKING_USER = mfs
WORKING_GROUP = mfs
DATA_PATH = /usr/local/mfs/var/mfs
LOCK_FILE = /var/run/mfs/mfschunkserver.pid
SYSLOG_IDENT = mfschunkserver
BACK_LOGS = 50
MASTER_RECONNECTION_DELAY = 30
MASTER_HOST = 192.168.1.230 (这里面要写HA的virtual ip)
MASTER_PORT = 9420
MASTER_TIMEOUT = 60
CSSERV_LISTEN_HOST = *
CSSERV_LISTEN_PORT = 9422
CSSERV_TIMEOUT = 60
CSTOCS_TIMEOUT = 60
HDD_CONF_FILENAME = /usr/local/mfs/etc/mfshdd.cfg

6、配置存放数据的目录(chunkserver)
# [root@wenba ~]# cat /usr/local/mfs/etc/mfshdd.cfg
/data
然后要让/mfs有能读写data目录的权限
# mkdir /data
# chown mfs.mfs /data

7、Chunkserver启动
# /usr/local/mfs/sbin/mfschunkserver
这时候你可以再元服务器的/var/log/messages中看到chunkserver注册的信息,从下面可以看出有2台chunkserver，总空间75G.
Sep 17 13:38:00 oss1 mfsmaster[4988]: chunkservers status:
Sep 17 13:38:00 oss1 mfsmaster[4988]: server 1 (192.168.1.48): usedspace: 7156297728 (6 GB), totalspace: 40628744192 (37 GB), usage:
17.61%
Sep 17 13:38:00 oss1 mfsmaster[4988]: server 2 (192.168.1.47): usedspace: 6781362176 (6 GB), totalspace: 40628744192 (37 GB), usage:
16.69%
Sep 17 13:38:00 oss1 mfsmaster[4988]: total: usedspace: 13937659904 (12 GB), totalspace: 81257488384 (75 GB), usage:

8、Client的安装，应用
a）、首先要安装Fuse, Linux从2.6.14版本开始通过FUSE模块支持在用户空间实现文件系统
# Tar zxvf fuse-2.7.4.tar.gz
# Cd fuse-2.7.4
# ./configure
# Make
# Make install
编辑 /etc/ld.so.config 加入
include /usr/local/lib
# depmod –a
b）、安装Mfs
# tar zxvf mfs-1.5.12.tar.gz
# cd mfs-1.5.12
# useradd -s /sbin/nologin mfs
# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster –enable-mfsmount
# make
# make install
载入fuse模块
# modprobe fuse
创建mfs挂接目录，默认在/mnt/mfs下，可以使用-w挂在别的目录下
# mkdir /mnt/mfs
挂接目录
# /usr/local/mfs/bin/mfsmount -h 192.168.1.230

9、测试
[root@localhost test]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
72G 2.7G 66G 4% /
/dev/hdc1 76G 930M 71G 2% /back
/dev/hda1 99M 17M 77M 19% /boot
tmpfs 490M 0 490M 0% /dev/shm
MFS 76G 14G 62G 19% /mnt/mfs
现在可以向/mnt/mfs 中写入数据测试了
六、安装过程中遇到的一些问题
1、create-md的时候总是出现下面的问题
注：mds1在create-md的时候总是出现下面的问题，
[root@mds1 ~]# drbdadm create-md r0

md_offset 2023411712

al_offset 2023378944

bm_offset 2023313408
Found ext3 filesystem which uses 1975992 kB

current configuration leaves usable 1975892 kB
Device size would be truncated, which

would corrupt data and result in

'access beyond end of device' errors.

You need to either

* use external meta data (recommended)

* shrink that filesystem first

* zero out the device (destroy the filesystem)

Operation refused.
Command 'drbdmeta 0 v08 /dev/sda3 internal create-md' terminated with exit code 40

drbdadm create-md r0: exited with code 40
解决方法：dd if=/dev/zero bs=1M count=1 of=/dev/sda3 然后再执行drbdadm create-md r0
2、mfs编译过程中的问题
如果configure过程中出现” checking for fuse .....no configure” 要配置个环境变量 export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig/:$PKG_CONFIG_PATH
3、安装moose客户端遇到的问题
checking pkg-config is at least version 0.9.0... yes
checking for FUSE... no
configure: error: mfsmount build was forced, but fuse development package is not installed
解决方法： vim /etc/profile
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig/:$PKG_CONFIG_PATH