《hadoop 权威指南》 读书笔记

HDFS 对写入的数据计算校验和

datanode 管线的最后一个datanode 负责验证校验和

客户端在读取datanode的时候也会验证校验和

Hadoop的LocalFilesystem执行客户端校验和验证

LocalFileSystem通过ChecksumFileSystem来完成自己的任务

FileSystem rawFs =...

FileSystem checksummedFs = new ChecksumFileSystem（rawFs）；

压缩 解压缩 在Hadoop中 一个compressionCodec接口的实现代表一个codec codec实现一种压缩-解压缩算法

序列化是将结构化对像转化为字节流，以便在网络上传输或者写到磁盘进行永久性存储，反序列化是指将字节流装回结构化对象的逆过程。序列化在分布式数据处理的进程通信和永久存储中用到。

Hadoop的序列化格式是Writable，它格式紧凑，速度快。

Writable接口定义了两个方法，一个将其状态写到DataOutput二进制流，另一个从DataInput二进制流读取其状态：

package org.apache.hadoop.io
import java.io.DataOutput
import java.io.DataInput
import java.io.IOException

public interface Writable{
void write（DataOutput out) throws IOException;
void readFields(DataInput in) throws IOException;
}