您的位置:首页 > 运维架构

Hadoop之运行原理

2015-11-03 14:14 316 查看
HDFS具备以下特点:

高容错:保存多个副本(默认3份[即共3份文件])

高吞吐量:部署在廉价的通用硬件上,针对高吞吐量做了优化

HDFS以block形式存储,默认一个block块64M。但是很多情况下HDFS采用128MB的设置


体系架构:HDFS采用了主从(Master /Slave)结构

NameNode:是Master节点,负责管理hdfs的目录树和文件元数据信息,并且它是将这些信息存储在内存中的

DataNode:是Slave节点,负责实际数据的存储以block块形式,(如果文件不足64m则占用文件大小的空间(即<64M),不会整个占用块大小空间。


-部分内容引用于Hadoop权威指南,推荐大家看看这本书以及董西成老师的书

其实现在想想我觉得无非就是简单介绍下hdfs特点而已。用自己的话把上面的内容复述一遍基本就可以了。

在初学者面试大数据岗位的时候,基本上来就会被问到这个问题,当时我在学hadoop的时候,学了很多可是不知道究竟什么是hadoop运行原理,完全搞不懂interviewer在问什么。。。。。。

真的想问问他,你到底在问什么

2015年10月21日晚

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  mapreduce