1、MapReduce 工作原理简介（待补充）
2015-04-16 00:08
239 查看
过程梳理：
l 一份输入数据分割成多个分片，交给不同的map任务处理；
（如果设置的业务节点比较少，有可能多个map任务运行在一个map节点上）
l 每个map任务处理一份分片数据，输出k-v对；
（中间结果保存到本地文件系统）
l 分区器Partitioner，根据key，对map的输出数据进行hash运行，
将数据保存到不同的桶。
（每个桶存放了相同编号的数据，每个桶对应了一个reduce任务）
l 每个reduce任务通过网络传输，从远程下载map任务本地的指定桶的中间结果数据。
每个reduce任务分别输出一个hdfs上的文件。
（Hadoop的hdfs不支持多个任务同时将数据写到同一个文件上）
l 一份输入数据分割成多个分片，交给不同的map任务处理；
（如果设置的业务节点比较少，有可能多个map任务运行在一个map节点上）
l 每个map任务处理一份分片数据，输出k-v对；
（中间结果保存到本地文件系统）
l 分区器Partitioner，根据key，对map的输出数据进行hash运行，
将数据保存到不同的桶。
（每个桶存放了相同编号的数据，每个桶对应了一个reduce任务）
l 每个reduce任务通过网络传输，从远程下载map任务本地的指定桶的中间结果数据。
每个reduce任务分别输出一个hdfs上的文件。
（Hadoop的hdfs不支持多个任务同时将数据写到同一个文件上）
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- MapReduce工作原理流程简介
- HDFS简介，YARN、MapReduce原理介绍
- Hadoop 4、Hadoop MapReduce的工作原理
- JSP Filter简介和工作原理
- MapReduce工作原理（简单实例）
- 倒排索引和MapReduce简介
- Mapreduce作业的工作原理
- 自定义View学习笔记03—View的工作原理简介
- MapReduce工作原理图文详解
- HttpSession工作原理简介
- Hadoop2.7.3 mapreduce（三）SequenceFile和MapFile 简介与应用
- Mapreduce工作原理及流程
- Android系统Recovery工作原理之使用update.zip升级过程分析（九）---updater-script脚本语法简介以及执行流程
- MapReduce 中的两表 join 几种方案简介
- Android系统Recovery工作原理之使用update.zip升级过程---updater-script脚本语法简介以及执行流程(转)
- struts 简介 工作原理
- Hadoop MapReduce工作原理
- 手机时钟电路中晶振的工作原理简介
- Hadoop到底能做什么？怎么用hadoop？ 与 R语言简介 以及 MapReduce
- SVN简介和工作原理