hadoop基础学习1
2015-11-18 15:47
274 查看
1. NameNode和dataNode的区别
Namenode是分布式文件系统的管理者,管理文件系统命名空间。集群配置信息和存储快的复制等,同时会将Meta-data存储在内存中。
DataNode是文件存储的基本单元,将block存储在本地文件系统中,存储了Meta-data,会周期性的将所有Block信息发送给NameNode。
2. 文件写入
client向NameNode发起文件写入请求
NameNode根据文件大小和文件快配置情况,返回给client所管理的DataNode信息
client根据这些DataNode进行写入
3 文件读取
client向NameNode发起文件读取的请求
NameNode返回DataNode信息
client读取文件信息。
Namenode是分布式文件系统的管理者,管理文件系统命名空间。集群配置信息和存储快的复制等,同时会将Meta-data存储在内存中。
DataNode是文件存储的基本单元,将block存储在本地文件系统中,存储了Meta-data,会周期性的将所有Block信息发送给NameNode。
2. 文件写入
client向NameNode发起文件写入请求
NameNode根据文件大小和文件快配置情况,返回给client所管理的DataNode信息
client根据这些DataNode进行写入
3 文件读取
client向NameNode发起文件读取的请求
NameNode返回DataNode信息
client读取文件信息。
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- 单机版搭建Hadoop环境图文教程详解
- hadoop常见错误以及处理方法详解
- hadoop 单机安装配置教程
- hadoop的hdfs文件操作实现上传文件到hdfs
- hadoop实现grep示例分享
- Apache Hadoop版本详解
- linux下搭建hadoop环境步骤分享
- hadoop client与datanode的通信协议分析
- hadoop中一些常用的命令介绍
- Hadoop单机版和全分布式(集群)安装
- 用PHP和Shell写Hadoop的MapReduce程序
- hadoop map-reduce中的文件并发操作
- Hadoop1.2中配置伪分布式的实例
- java结合HADOOP集群文件上传下载
- 用python + hadoop streaming 分布式编程(一) -- 原理介绍,样例程序与本地调试
- Hadoop安装感悟
- hadoop安装lzo