HDFS------block,packet,chunk的关系
2011-09-13 18:17
316 查看
在看hdfs时，经常会碰到block，packet，chunk等概念，下面做个简要介绍：
block是最大的，默认为："fs.local.block.size", 32 * 1024 * 1024=32m
packet其次, 默认为："dfs.write.packet.size", 64*1024=64k
chunksize 默认为："io.bytes.per.checksum"=512Byte
block是最大的，默认为："fs.local.block.size", 32 * 1024 * 1024=32m
packet其次, 默认为："dfs.write.packet.size", 64*1024=64k
chunksize 默认为："io.bytes.per.checksum"=512Byte
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- HDFS写详解 block、packet与chunk
- hbase blocksize设置，与hdfs关系
- spark partition和hdfs block的关系
- HDFS Append时packet的格式以及DataNode对block/checksum文件的处理
- inode,block,superblock的关系
- 解决因block的损坏而导致hdfs启动后进入安全模式
- inline-block空隙之css letter-spacing与字体大小/字体关系数据表
- Hadoop HDFS源码学习笔记（六）--fetchBlockByteRange
- HDFS的create函数解析及如何选择存储Block的DataNode
- 关于innodb_flush_log_at_trx_commit、innodb_flush_method、innodb_log_block_size和fsync()、O_DIRECT、iops、云盘的关系与总结
- hadoop学习记（2）--HDFS+yarn+MapReduce关系与原理
- hadoop 2.6.0 org.apache.hadoop.hdfs.server.blockmanagement。HeartbeatManager源代码分析
- HDFS读文件过程分析：获取文件对应的Block列表
- 表空间(tableSpace) 段(segment) 盘区(extent) 块(block) 关系
- Hadoop的map、block、split关系
- 表空间(tableSpace) 段(segment) 盘区(extent) 块(block) 关系
- Hadoop源码分析HDFS ClientProtocol——getBlockLocations
- bug宝典hadoop篇 org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <
- HDFS中的部分Datanode存在大量没有删除的Block磁盘被占满