踏着前人的脚印学Hadoop——结构、重点
2014-12-31 22:01
155 查看
HDFS作为一个分布式文件系统,是所有这些项目的基础。分析好HDFS,有利于了解其他系统。由于Hadoop的HDFS和MapReduce是同一个项目,我们就把他们放在一块,进行分析。
如果把整个hadoop当做一个java中的类的话,那么HDFS就是这个类的静态变量,其他的项目是hadoop中的方法。
hdfs HDFS,Hadoop的分布式文件系统实现
文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口 fs 文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口
ipc 一个简单的IPC的实现,依赖于io提供的编解码功能 参考:http://zhangyu8374.javaeye.com/blog/86306 io 表示层。将各种数据编码/解码,方便于在网络上传输
mapreduce Hadoop的Map/Reduce实现 filecache 提供HDFS文件的本地缓存,用于加快Map/Reduce的数据访问速度 ipc 一个简单的IPC的实现,依赖于io提供的编解码功能 参考:http://zhangyu8374.javaeye.com/blog/86306 io 表示层。将各种数据编码/解码,方便于在网络上传输
如果把整个hadoop当做一个java中的类的话,那么HDFS就是这个类的静态变量,其他的项目是hadoop中的方法。
hdfs HDFS,Hadoop的分布式文件系统实现
文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口 fs 文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口
ipc 一个简单的IPC的实现,依赖于io提供的编解码功能 参考:http://zhangyu8374.javaeye.com/blog/86306 io 表示层。将各种数据编码/解码,方便于在网络上传输
mapreduce Hadoop的Map/Reduce实现 filecache 提供HDFS文件的本地缓存,用于加快Map/Reduce的数据访问速度 ipc 一个简单的IPC的实现,依赖于io提供的编解码功能 参考:http://zhangyu8374.javaeye.com/blog/86306 io 表示层。将各种数据编码/解码,方便于在网络上传输
相关文章推荐
- 踏着前人的脚印学hadoop——ipc中的Client
- 踏着前人的脚印学hadoop——ipc中的Server
- 踏着前人的脚印学Hadoop——RPC源码
- 踏着前人的脚印学Hadoop——序列化,Writerable
- Hadoop学习重点体系结构
- Hadoop——你不得不了解的大数据工具
- IPv6 NDP—Neighbor discovery protocol 结构
- [hadoop源码阅读][1]-源码目录结构
- Hadoop - HDFS IPC接口 + 常用数据结构
- Hadoop Erasure Coding结构分析
- 以化解钢铁产能过剩为钢铁工业结构调整重点
- Hadoop提供了最简单的Map/Reduce编程实例WordCount,本文对该Demo的程序结构,以及Map/Reduce框架的注意事项,进行了分析。
- 数据结构的复习重点(2)
- Hadoop学习笔记(一)——Hadoop体系结构
- Hadoop学习--设置配置文件参数列出目录结构--day04
- Caffe实战Day3-准备网络结构文件和训练文件(重点)
- Hadoop源码分析之HDFS客户端的输入流类结构
- Hadoop知识结构浅记
- 程序员重点知识、技术结构图
- 笔试、面试重点总结:算法基础、数据结构