HADOOP的数据流
2015-12-08 15:53
288 查看
HDFS在InputFormat(将data转换为<key,value>)等支持下，将数据块传入MAPPER中，MAPPER输出<key, value>到内存，如果发生spill则存入本地文件, 形成较大文件region(可能有combine发生)。之后的去向分为两种，一种是本机有reduce，则加入到reduce的内存中；另外一种是远程复制到别的机器上的reduce中。经过merge和sort, 由reduce处理，并将数据写会HDFS。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Centos 安装配置Samba
- @property,autorelease 知识点总结
- VirtualBox虚拟机找不到网卡的解决方法--centos6.5
- 关于linux iptables中dport和sport
- opencv Mat 内存分配
- 运维人员如何提高自己水平？？
- Centos6.4(64bit)安装Python2.7.10 & tornado-4.3
- run loop详解
- Web网站开发组合方式
- Cacti报警设置
- 学习网站
- cacti监控找到网卡的方法
- 【HBase】1009-HBase的协处理器（coprocessor）统计行数
- ubuntu 14.04 安装交叉编译工具链arm-none-linux-gnueabi
- Tomcat多实例运行配置
- Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
- linux（centos）搭建SVN服务器
- Linux下启动tomcat的方法
- open-falcon的学习
- linux下关于DM8168和PC通信的NFS环境的配置