hadoop初识
2015-02-26 10:58
246 查看
hadoop框架
大数据在Hadoop处理的流程
HDFS:Hadoop Distributed File System,Hadoop的分布式文件系统.
大文件被分成默认64M一块的数据块分布存储在集群机器中.如下图中的文件 data1被分成3块,这3块以冗余镜像的方式分布在不同的机器中.
MapReduce:Hadoop为每一个input
split创建一个task调用Map计算，在此task中依次处理此split中的一个个记录(record),map会将结果以key--value 的形式输出,hadoop负责按key值将map的输出整理后作为Reduce的输入,Reduce Task的输出为整个job的输出，保存在HDFS上.
大数据在Hadoop处理的流程
HDFS:Hadoop Distributed File System,Hadoop的分布式文件系统.
大文件被分成默认64M一块的数据块分布存储在集群机器中.如下图中的文件 data1被分成3块,这3块以冗余镜像的方式分布在不同的机器中.
MapReduce:Hadoop为每一个input
split创建一个task调用Map计算，在此task中依次处理此split中的一个个记录(record),map会将结果以key--value 的形式输出,hadoop负责按key值将map的输出整理后作为Reduce的输入,Reduce Task的输出为整个job的输出，保存在HDFS上.
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 自学Hadoop1.0——初识MapReduce基本组件
- 初识之 Hadoop添加删除节点
- [hadoop读书笔记] 第一章 初识 Hadoop
- 初识Hadoop，Hadoop是什么？
- 初识Hadoop一，配置及启动服务
- 初识hadoop
- 初识Hadoop
- 《Hadoop基础教程》之初识Hadoop 【转】
- Hadoop权威指南学习笔记_第一章_初识Hadoop
- 《Hadoop基础教程》之初识Hadoop
- 第1章 初识hadoop
- 初识Hadoop
- 《Hadoop基础教程》之初识Hadoop
- 《Hadoop基础教程》之初识Hadoop
- 初识Hadoop
- 初识Hadoop（2）
- 通过一个对数据的存储和分析的简单实例初识Hadoop
- Hadoop学习1（初识hadoop）
- 初识hadoop
- 《Hadoop权威指南》——1、初识Hadoop&&2、关于MapReduce