您的位置:首页 > 运维架构

踏着前人的脚印学Hadoop——结构、重点

2014-12-31 22:01 155 查看
HDFS作为一个分布式文件系统,是所有这些项目的基础。分析好HDFS,有利于了解其他系统。由于Hadoop的HDFS和MapReduce是同一个项目,我们就把他们放在一块,进行分析。

如果把整个hadoop当做一个java中的类的话,那么HDFS就是这个类的静态变量,其他的项目是hadoop中的方法。

hdfs HDFS,Hadoop的分布式文件系统实现

文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口 fs 文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口

ipc 一个简单的IPC的实现,依赖于io提供的编解码功能 参考:http://zhangyu8374.javaeye.com/blog/86306 io 表示层。将各种数据编码/解码,方便于在网络上传输

mapreduce Hadoop的Map/Reduce实现 filecache 提供HDFS文件的本地缓存,用于加快Map/Reduce的数据访问速度 ipc 一个简单的IPC的实现,依赖于io提供的编解码功能 参考:http://zhangyu8374.javaeye.com/blog/86306 io 表示层。将各种数据编码/解码,方便于在网络上传输



内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: