Hadoop之运行原理
2015-11-03 14:14
316 查看
HDFS具备以下特点:
体系架构:HDFS采用了主从(Master /Slave)结构
-部分内容引用于Hadoop权威指南,推荐大家看看这本书以及董西成老师的书
其实现在想想我觉得无非就是简单介绍下hdfs特点而已。用自己的话把上面的内容复述一遍基本就可以了。
在初学者面试大数据岗位的时候,基本上来就会被问到这个问题,当时我在学hadoop的时候,学了很多可是不知道究竟什么是hadoop运行原理,完全搞不懂interviewer在问什么。。。。。。
真的想问问他,你到底在问什么
2015年10月21日晚
高容错:保存多个副本(默认3份[即共3份文件]) 高吞吐量:部署在廉价的通用硬件上,针对高吞吐量做了优化 HDFS以block形式存储,默认一个block块64M。但是很多情况下HDFS采用128MB的设置
体系架构:HDFS采用了主从(Master /Slave)结构
NameNode:是Master节点,负责管理hdfs的目录树和文件元数据信息,并且它是将这些信息存储在内存中的 DataNode:是Slave节点,负责实际数据的存储以block块形式,(如果文件不足64m则占用文件大小的空间(即<64M),不会整个占用块大小空间。
-部分内容引用于Hadoop权威指南,推荐大家看看这本书以及董西成老师的书
其实现在想想我觉得无非就是简单介绍下hdfs特点而已。用自己的话把上面的内容复述一遍基本就可以了。
在初学者面试大数据岗位的时候,基本上来就会被问到这个问题,当时我在学hadoop的时候,学了很多可是不知道究竟什么是hadoop运行原理,完全搞不懂interviewer在问什么。。。。。。
真的想问问他,你到底在问什么
2015年10月21日晚
相关文章推荐
- Hadoop_2.1.0 MapReduce序列图
- MongoDB中的MapReduce简介
- MongoDB学习笔记之MapReduce使用示例
- MongoDB中MapReduce编程模型使用实例
- MapReduce中ArrayWritable 使用指南
- Java函数式编程(七):MapReduce
- java连接hdfs ha和调用mapreduce jar示例
- 用PHP和Shell写Hadoop的MapReduce程序
- JavaScript mapreduce工作原理简析
- mongodb mapredReduce 多个条件分组(group by)
- HBase基本原理
- HDFS DatanodeProtocol——sendHeartbeat
- HDFS DatanodeProtocol——register
- Hadoop集群提交作业问题总结
- Hadoop源码分析 HDFS ClientProtocol——addBlock
- Hadoop源码分析HDFS ClientProtocol——create
- Hadoop源码分析FSNamesystem几个重要的成员变量
- Hadoop源码分析HDFS ClientProtocol——getBlockLocations
- Hadoop源码分析HDFS Client向HDFS写入数据的过程解析
- ZooKeeper基本理解