Hadoop 源码目录树
2016-02-14 16:52
423 查看
1、NameNode
---FSNamesystem:
------FSDirectory 目录树
---------INodeDirectory节点目录
------------List<INode> children子节点)
---------------INodeDirectory
---------------INodeFile
------------------BlockInfo[]文件块(一个文件块包括所有的DataNode 存储信息)
---------------------Object[] triplets 存储(DatanodeStorageInfo包话{DatanodeDescriptor,DatanodeStorage})
---------------------BlockCollection保存的是INodeFile
---------------INodeSymlink
---------INodeMap
------BlockManager hdfs块管理器
---------DatanodeManager(注册、删除、添加)
------------HostFileManager 读取include/exclude 文件,精细化管理DataNode上架,下架
------------NetworkTopology 网络拓扑图,用于机架感知
---------HeartbeatManager 心跳包管理器,与DataNode 保持通信
---------BlockTokenSecretManager 块安全验证管理器
---------BlocksMap 块映射[BlockInfo]存储所有块的信息
------LeaseManager 租约管理器
---NameNodeRpcServer 对外提供的所有RPC接口调用
---NameNodeHttpServer 对外提供的web 访问
---HAContext{NameNodeHAContext}用于NameNode HA 高可用性
---HAState包括ActiveState、BackupState、StandbyState 三种状态
2、DataNode
---BlockPoolManager
------List<BPOfferService>
---------BPServiceActor 注册、心跳、接收块、删除块、更新块、坏块报告等
---FsDatasetSpi {FsDatasetImpl}数据节点,对所有目录数据块文件操作
---DataXceiverServer 数据节点,数据接收、发送服务
---DataBlockScanner 数据节点块扫描器
---DirectoryScanner 数据节点目录扫描器
---BlockPoolTokenSecretManager
---HttpServer2 对外提供的Web访问
---FSNamesystem:
------FSDirectory 目录树
---------INodeDirectory节点目录
------------List<INode> children子节点)
---------------INodeDirectory
---------------INodeFile
------------------BlockInfo[]文件块(一个文件块包括所有的DataNode 存储信息)
---------------------Object[] triplets 存储(DatanodeStorageInfo包话{DatanodeDescriptor,DatanodeStorage})
---------------------BlockCollection保存的是INodeFile
---------------INodeSymlink
---------INodeMap
------BlockManager hdfs块管理器
---------DatanodeManager(注册、删除、添加)
------------HostFileManager 读取include/exclude 文件,精细化管理DataNode上架,下架
------------NetworkTopology 网络拓扑图,用于机架感知
---------HeartbeatManager 心跳包管理器,与DataNode 保持通信
---------BlockTokenSecretManager 块安全验证管理器
---------BlocksMap 块映射[BlockInfo]存储所有块的信息
------LeaseManager 租约管理器
---NameNodeRpcServer 对外提供的所有RPC接口调用
---NameNodeHttpServer 对外提供的web 访问
---HAContext{NameNodeHAContext}用于NameNode HA 高可用性
---HAState包括ActiveState、BackupState、StandbyState 三种状态
2、DataNode
---BlockPoolManager
------List<BPOfferService>
---------BPServiceActor 注册、心跳、接收块、删除块、更新块、坏块报告等
---FsDatasetSpi {FsDatasetImpl}数据节点,对所有目录数据块文件操作
---DataXceiverServer 数据节点,数据接收、发送服务
---DataBlockScanner 数据节点块扫描器
---DirectoryScanner 数据节点目录扫描器
---BlockPoolTokenSecretManager
---HttpServer2 对外提供的Web访问
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- 单机版搭建Hadoop环境图文教程详解
- htm页面中<a name>加name和id的冲突附解决方法
- 浅谈html中id和name的区别实例代码
- Windows系统下Node.js的简单入门教程
- 在Node.js应用中使用Redis的方法简介
- 在Ubuntu系统上安装Ghost博客平台的教程
- Node.js编程中客户端Session的使用详解
- 使用Raygun对Node.js应用进行错误处理的方法
- 在Mac OS下使用Node.js的简单教程
- node.js抓取并分析网页内容有无特殊内容的js文件
- 在Linux系统中搭建Node.js开发环境的简单步骤讲解
- 浅析Node在构建超媒体API中的作用
- 在Node.js中使用HTTP上传文件的方法
- 举例讲解Node.js中的Writable对象
- hadoop常见错误以及处理方法详解
- Node调试工具JSHint的安装及配置教程