HFileBlock 源码解析 （hbase 1.2.6）

HFileBlock

HBase数据文件是由多个Block和一个Trailer组成，Block有数据、索引等多种类型。HFileBlock提供了一个统一的类来处理各种类型的Block，可以实现Block的存储、序列化及其反向过程，还可以估算占用堆内存的字节数。

HFileBlock可以读/写v2格式数据文件，读操作兼容v1格式。为了便于源码解析，本文内容只针对v2格式。

目的

Block结构

存储结构

序列化结构

存储流程

其它

buf结构

unPack方法

估算堆内存字节数

Block结构

头部

数据段

校验码

头部数据

变量名	类型	说明
blockType	8*byte	标识符
onDiskSizeWithoutHeader	int	字节数(数据段+校验码)
uncompressedSizeWithoutHeader	int	字节数(unPack的数据段)
prevBlockOffset	long	文件偏移量(前一个相同类型Block)
checksumType	byte	校验方法标识
bytesPerChecksum	int	一个校验码对应的字节数
onDiskDataSizeWithHeader	int	字节数(头部+数据段)

数据段

数据段包含原始数据或加工过的原始数据，加工过程如下：

原始数据

编码 (可选)

加密 (可选)

压缩 (可选)

校验码

校验码字节数：

0byte⇐(bytesPerChecksum=0)

ceil(header+databytesPerChecksum)×4byte

常用字节数计算

组合	计算方法
头部 + 数据段 + 校验码	onDiskSizeWithoutHeader + headerSize
数据段 + 校验码	onDiskSizeWithoutHeader
unpacked的数据段	uncompressedSizeWithoutHeader
头部 + 数据段	onDiskDataSizeWithHeader

存储结构

头部

数据段

校验码

序列化结构

头部

数据段

校验码

下一个块的头部(可选) ⇐(nextBlockOnDiskSizeWithHeader>0)

usesHBaseChecksum(boolean: true)

offset (long) 块起始位置在文件中的偏移量

nextBlockOnDiskSizeWithHeader(int)下一块的头部和数据段字节数

存储流程

Cell流程

实例化Writer类

调用方法startWriting

多次调用方法write(Cell)

调用方法writeHeaderAndData

BlockWritable流程

实例化Writer类

调用writeblock

自定义流程

实例化Writer类

调用方法startWriting返回输出流

直接写入输出流

调用方法writeHeaderAndData

其它

buf (ByteBuffer) 结构

头部

数据段

校验码 (limit设置在结束位置)

下一个Block头部 (可选)

unPack方法

unPack方法返回一个HFileBlock对象，该对象的头部和校验码与原对象一致，只是对数据段进行了解压、解密处理，新对象的数据段是编码后的原始数据或原始数据(未使用编码)。

isUnpacked方法

判断当前对象是否unpacked，根据是下列字节数之和是否等于buf的容量：

头部字节数

uncompressedSizeWithoutHeader

校验码字节数

下个Block头部字节数 (可选)

heapSize方法

HFileBlock估算对象占用堆内存字节数的方法是将所有非静态字段占用字节数相加，具体内容如下：

OBJECT: this

REFERENCE: blockType

REFERENCE: fileContext

REFERENCE: buf

SIZEOF_INT: onDiskDataSizeWithHeader

SIZEOF_INT: onDiskSizeWithoutHeader

SIZEOF_INT: uncompressedSizeWithoutHeader

SIZEOF_INT: nextBlockOnDiskSizeWithHeader

SIZEOF_LONG: prevBlockOffset

SIZEOF_LONG: offset

buf.heapSize

flieContext.heapSize