MapReduce(十六): 写数据到HDFS的源码分析
2014-09-02 19:53
363 查看
1) LineRecordWriter负责把Key,Value的形式把数据写入到DFSOutputStream
2) DFSOutputStream负责把LineRecordWriter写入的数据发送到Datanode中。对LineRecordWriter写入的数据首先按照一个个chunk分割,然后打包成Packet发送给datanode,datanode负责对接收的数据备份到其它datanode上。发送数据时,发送线程和结果接收线程分开,对发送队列的数据完成发送后,转移的结果接收队列中,等待datanode对数据保存,备份是否正确的应答,如果datanode保存失败,则对datanode,包括备份datanode的数据恢复到失败的前一刻,然后继续向datanode发送数据保存。
把LineRecordWriter中写入的数据先放到缓存中:
Buffer满了后,就把数据按照chunk封装到packet中,packet写满后就把packet放到发送队列中,等待发送线程发送给datanode
3) DataStreamer负责把队列中放入packet的数据发送到datanode上
4) ReponseProcessor负责对发送的packet数据接收datanode处理应答
5) Block传输写协议
相关文章推荐
- MapReduce(十六): 写数据到HDFS的源代码分析
- Hadoop源码分析之客户端向HDFS写数据
- HDFS源码分析(三)-----数据块关系基本结构
- hadoop源码解析之hdfs写数据全流程分析---创建文件
- MapReduce(十五): 从HDFS读取文件的源码分析
- HDFS源码分析心跳汇报之数据块增量汇报
- hadoop源码解析之hdfs写数据全流程分析---客户端处理
- hadoop源码解析之hdfs读取数据全流程分析
- Hadoop源码分析:HDFS数据读写流量控制(DataTransferThrottler类)
- HDFS下载数据之源码分析-FileSystem.get(conf)_block02
- 将HDFS中的数据通过MapReduce产生HFile,然后将HFile导入到HBase具体案例分析
- hadoop源码解析之hdfs写数据全流程分析---datanode处理
- Hadoop源码分析HDFS Client向HDFS写入数据的过程解析
- 大数据学习笔记2--hdfs工作原理及源码分析
- [置顶] HDFS源码分析心跳汇报之数据块增量汇报
- HDFS下载数据之源码分析-FileSystem.get(conf)_block01
- HBase建表高级属性,hbase应用案例看行键设计,HBase和mapreduce结合,从Hbase中读取数据、分析,写入hdfs,从hdfs中读取数据写入Hbase,协处理器和二级索引
- Hadoop-2.4.1源码分析--HDFS HeartBeat(心跳检测)数据结构初始化
- HDFS源码分析心跳汇报之数据结构初始化
- Hadoop源码分析之客户端向HDFS写数据