Hadoop源码学习之HDFS(一)
2017-07-03 21:40
260 查看
Hadoop的HDFS可以分为NameNode与DataNode,NameNode存储所有DataNode中数据的元数据信息。而DataNode负责存储真正的数据(数据块)信息以及数据块的ID。
NameNode上并不永久保存哪个DataNode上有哪些数据块的信息,而是通过DataNode启动时的上报,来更新NameNode上的映射表。
那么从DataNode上开始一点一点看:
在存储层面,Storage抽象类继承了StorageInfo。在StorageInfo中存储了layoutVersion:版本号,namenodeID是Storage的ID,cTime,creation time,storageType。
NameNode上并不永久保存哪个DataNode上有哪些数据块的信息,而是通过DataNode启动时的上报,来更新NameNode上的映射表。
那么从DataNode上开始一点一点看:
在存储层面,Storage抽象类继承了StorageInfo。在StorageInfo中存储了layoutVersion:版本号,namenodeID是Storage的ID,cTime,creation time,storageType。
相关文章推荐
- Hadoop HDFS源码学习笔记(六)--fetchBlockByteRange
- Hadoop HDFS源码学习笔记(五)
- hadoop学习;hdfs操作;运行抛出权限异常: Permission denied;api查看源码方法;源码不停的向里循环;抽象类通过debug查找源码
- 【Hadoop】一图学习HDFS源码结构系列——内存存储Lazy persist
- 2014-11-09---Hadoop的基础学习(二)----HDFS的特性和JavaAPI源码分析
- Hadoop-HDFS源码学习草记
- Hadoop HDFS源码学习笔记(二)
- Hadoop学习第l六次:HDFS的源码导入分析
- 【Hadoop源码学习】之hdfs(一)
- 深入学习Hadoop-HDFS的基本概念
- Hadoop 学习总结之一:HDFS简介
- Hadoop源码分析HDFS Client向HDFS写入数据的过程解析
- Hadoop 学习总结之一:HDFS简介
- Hadoop学习总结之二:HDFS读写过程解析
- Hadoop源码分析HDFS ClientProtocol——create
- 深入学习Hadoop 2 - HDFS的读写
- 深入学习Hadoop-HDFS的读写
- 基于eclipse的hadoop开发-----HDFS API学习
- Hadoop 学习总结之一:HDFS简介
- Hadoop学习总结之二:HDFS读写过程解析