分布式文件系统介绍(MooseFS)

分布式文件系统介绍（

MooseFS

）


MooseFS

系统简介


MooseFS
是一个高容错性的分布式文件系统，它能够将资源分布存储于几台不同的物理介质，对外只提供给用户一个访问接口。对它的操作与其它文件系统完全一样：

l        

分层文件结构（目录树结构）；

l        

存储POSIX
文件属性（权限、最后访问、修改时间）；

l        

支持特殊的文件（块文件夹、字符文件及管道和socket
）

l        

软链接（文件名指向目标文件）及硬链接（不同的文件名指向同一块数据）；

l        

仅限于基于IP
地址或密码来访问文件系统。

MoosFS
具有以下特征：

l        

高可靠性：数据可以被存储于几个不同的地方；

l        

可扩展性：可以动态的添加计算机或磁盘来增加系统的容量产；

l        

高可控性：系统能够设置删除文件的时间间隔；

l        

可追溯性：能够根据文件的不同操作（写入/
访问）生成文件快照。

MooseFS

的体系结构


MooseFS

体系结构包含以下四个模块：

l        

管理服务器（
master server
）：它用来管理整个文件系统，用来存储每个文件的元数据（包括文件大小、属性及存储位置，同时也包括的一些非规则性的文件，如目录、
socket
、管道及设备）；

l        

数据服务器（
chunk servers
）：用于存储文件的服务器，同时它们之间可以同步数据；

l        

元数据备份服务器（
metalogger servers
）：用于存储元数据变化日志并周期性的下载元数据文件；同时也可以替代管理服务器暂不能工作的情况；

l        

客户端：用于访问
MooseFS
中的文件，采用
mfsmount
来与管理服务器进行交互（接收或修改元数据文件）及与数据服务器交换真正的数据。

mfsmount
是基于
FUSE
机制的
(FileSystem
in USErspace)
，因此
mooseFS
能够工作于任何实现了
FUSE
的操作系统（
Linux
、
FreeBSD
、
MacOS X
等）。



MooseFS
读操作



MooseFS
写操作

元数据存储在管理服务器的内存及磁盘中（周期性的更新二进制文件及增长的日志文件）。同时二进制文件及日志文件会被同步到元数据服务器。

文件数据被切分成最大不超过
64M
的不同的片段，每个片段会存储于备选的数据服务器中。可以通过将数据配置在多个不同的数据服务器来保证高可靠性，可以通过
mfssetgoal
命令来设定最终要将数据存储在几台服务器上。

系统如何工作


在客户端上对挂载在
MooseFS

上的文件操作与的文件系统完全一样，操作系统内核将文件操作传输至
FUSE

模块，进而与
mfsmount

进程进行交互。
Mfsmount

进程通过网络与管理服

务器及数据服务器交互。整个过程对用户来说是完全透明的。

Mfsmount
每次与管理服务器交互，以下的操作文件元是必须的：

l        

创建文件；

l        

删除文件；

l        

读取文件目录；

l        

读取及改变属性；

l        

改变文件大小；

l        

开始读取或写入数据；
l        

访问MFSMETA
上的任何特殊文件。
mfsmount
直接连接到数据服务器，用于存储相关片段的文件。当写入一个文件时，写入过程完成后，管理服务器会接收从
mfsmount
发送回来的信息，用于更新文件的长度及最后的修改时间。

此外，数据服务器间能够相互复制数据，以达到将数据文件存储在不同机器上的目的。

容错性


      

系统

管理员可以通过管理命令将数据文件拷贝至不同的数据服务器上。设置多于一台数据服务器的目标将有利于提高系统的容错性。多份数据文件的存储有利于消除单一数据服务器宕机或网络延迟带来的灾难。

当采用
mfssetgoal
的目标数为
1
时，会将数据文件存储在系统中的单一数据服务器中。当有重要数据时，可以将该目标值设置大于
2
，它能够有效的防止因系统宕机而带来数据无法访问的后果。当然了目标数的设定不能多于数据服务器的数目，否则将无法将数据保存到预定数目的服务器中。当有一个服务器已经存储满时，它将无法再容纳数据存储，在这种情况下，需要重新挂载一台数据服务器，才能够满足预期的目标数。如果有一台数据服务器临时无法访问或网络出现问题，由于之前数据文件至少有两份以上的备份，客户端可以从其它服务器上进行有效访问。

   

新的数据服务器能够随时挂载到系统中，同时新的存储容量也会立即生效，用来存储新文件或从其它数据服务器复制备份文件。管理工具能够查询文件系统中的状态以及是否在目标值设定的范围之前内，工具也能够用来改变目标值的设置。客户端（运行
mfsmount
进程）的机器对文件系统的连贯性及其它客户端没有任何影响。最严重的情形也不过是客户端向数据服务器发送的数据失败。

平台


MooseFS
能够被应用在实现了
FUSE
的任何操作系统：

·        

Linux (Linux 2.6.14
及更高，支持
FUSE
的内核
)

·        

FreeBSD

·        

OpenSolaris

·        

MacOS

管理服务器、日志服务器及数据服务器使用
Cygwin
运行在
Solaris
及
Windows
上。不幸的是没有
FUSE
的话是不能将文件系统挂载到操作系统中。