hadoop大致的工作流程
2012-10-21 19:19
176 查看
hadoop过程中最重要的是MapReduce框架，可是处于集群的考虑，网络带宽的限制，其中还有很多优化。
这是本人画的，希望不要出错....
一个job分块，进行map操作，hadoop使用数据本地优化，所以在集群中的节点机子上进行map操作，数据最好是一个HDFS的块数据大小既64M，闲话不多说了，看图就知道了
这是本人画的，希望不要出错....
一个job分块，进行map操作，hadoop使用数据本地优化，所以在集群中的节点机子上进行map操作，数据最好是一个HDFS的块数据大小既64M，闲话不多说了，看图就知道了
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- hadoop-yarn工作大致流程
- Hadoop Yarn的工作流程
- Hadoop-2.4.1源码分析--HDFS HeartBeat(心跳检测)之BPServiceActor工作线程运行流程(下)
- hadoop学习工作总结（二）之hive流程
- Hadoop服务库与事件库的使用及其工作流程
- Servlet工作机制大致流程是：request -> StandardEngineValve -> StandardHostValve -> StandardContextValve -> Stan
- 王家林 云计算分布式大数据Hadoop实战高手之路第七讲Hadoop图文训练课程：通过HDFS的心跳来测试replication具体的工作机制和流程
- ssh框架大致的工作流程
- hadoop yarn的原理和工作流程
- hadoop工作流程分析
- Hadoop工作流程
- csr8670--sink工程的大致工作流程分析（以speaker为例）二
- Hadoop-2.4.1源码分析--HDFS HeartBeat(心跳检测)之BPServiceActor工作线程运行流程(上)
- 云计算分布式大数据Hadoop实战高手之路第七讲Hadoop图文训练课程：通过HDFS的心跳来测试replication具体的工作机制和流程
- Hadoop YARN的工作流程
- Hadoop YARN 的工作流程简述
- hadoop的工作大体流程（Hadoop Inside - JobConf ）
- G-sensor driver工作的大致流程
- Hadoop MapReduce工作详细流程
- csr8670--sink工程的大致工作流程分析（以speaker为例）一