Hadoop SequenceFile
2013-09-11 20:02
375 查看
SequenceFile格式:
每一个SequenceFile都包含一个“头”(header)。Header包含了以下几部分。
1.SEQ三个字母的byte数组
2.Version number的byte,目前为数字3的byte
3.Key和Value的类名
4.压缩相关的信息
5.其他用户定义的元数据
6.同步标记,sync marker
对于每一条记录(K-V),其内部格式根据是否压缩而不同。SequenceFile的压缩方式有两种,“记录压缩”(record compression)和“块压缩”(block compression)。如果是记录压缩,则只压缩Value的值。如果是块压缩,则将多条记录一并压缩,包括Key和Value。具体格式如下面两图所示:
每一个SequenceFile都包含一个“头”(header)。Header包含了以下几部分。
1.SEQ三个字母的byte数组
2.Version number的byte,目前为数字3的byte
3.Key和Value的类名
4.压缩相关的信息
5.其他用户定义的元数据
6.同步标记,sync marker
对于每一条记录(K-V),其内部格式根据是否压缩而不同。SequenceFile的压缩方式有两种,“记录压缩”(record compression)和“块压缩”(block compression)。如果是记录压缩,则只压缩Value的值。如果是块压缩,则将多条记录一并压缩,包括Key和Value。具体格式如下面两图所示:
相关文章推荐
- 《hadoop权威指南》学习笔记-hadoop I/O之SequenceFile
- Hadoop Core 学习笔记(一) SequenceFile文件写入和读取Writable数据
- Hadoop SequenceFile 详解
- Hadoop Sequencefile using Hadoop 2 Apis
- Hadoop中数据序列化的常用方式:SequenceFile, Avro, Thrift, ProtoBuff -- 待完善
- Hadoop | SequenceFile doesn't work with GzipCodec without native-hadoop code 异常解决
- [hadoop2.7.1]I/O之MapFile(排过序的SequenceFile)读、写、重建index实例
- hadoop SequenceFile
- Hadoop之sequencefile与text类型转化
- hadoop SequenceFile介绍
- Hadoop HDFS之SequenceFile和MapFile
- Hadoop 写SequenceFile文件 源代码
- Hadoop HDFS之SequenceFile和MapFile
- hadoop SequenceFile介绍 大数据 存储
- SequenceFile 解决hadoop小文件问题
- Hadoop Core 学习笔记(一) SequenceFile文件写入和读取Writable数据
- Hadoop之SequenceFile
- Hadoop中的SequenceFile系统之一
- Hadoop之SequenceFile 详解
- hadoop序列文件读与写 (SequenceWriteReadFile)