您的位置:首页 > 大数据 > 云计算

Fourinone2.0对分布式文件的简化操作

2012-06-01 14:34 302 查看
Fourinone2.0里通过FttpAdapter和FileAdapter实现文件io的支持。其中,FttpAdapter提供对远程文件的操作,FileAdapter提供对本地文件的操作,两者api和使用相似,这里主要说明FttpAdapter:

FttpAdapter提供了对分布式文件的便利操作, 将集群中所有机器的硬盘资源利用起来,通过统一的fttp文件路径访问,如:

windows:fttp://v020138.sqa.cm4/d:/data/a.log

linux:fttp://v020138.sqa.cm4/home/user/a.log

比如以这样的方式读取远程文件:

FttpAdapter fa = FttpAdapter("fttp://v020138.sqa.cm4/home/log/a.log");

fa.getFttpReader().readAll();

提供对集群文件的操作支持,包括:

1、元数据访问,添加删除,按块拆分, 高性能并行读写,排他读写(按文件部分内容锁定),随机读写,集群复制等

2、对集群文件的解析支持(包括按行,按分割符,按最后标识读取)

3、对整形数据的高性能读写支持(ArrayInt比ArrayList存的更多更快)

4、两阶段提交和事务补偿处理

5、自带一个集群文件浏览器,可以查看集群所有硬盘上的文件(不同于hadoop的namenode,没有单点问题和容量限制)

总的来说, 将集群看做一个操作系统,像操作本地文件一样操作远程文件。

但是fourinone并不提供一个分布式存储系统,比如文件数据的导入导出、拆分存储、负载均衡,备份容灾等存储功能,不过开发人员可以利用这些api去设计和实现这些功能,用来满足自己的特定需求。

更多介绍请看使用指南:

一、如何搭建配置FttpAdapter环境

二、如何访问集群文件根目录

三、如何访问和操作远程文件

四、如何进行集群内文件复制和并行复制

五、如何读写远程文件

六、如何解析远程文件

七、如何并行读写远程文件

八、如何批量并行读写远程文件和事务补偿处理

邮箱:Fourinone@yeah.net

qq群:241116021

demo源码指南及开发包下载地址:

http://www.skycn.com/soft/68321.html
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息