Hadoop技术内幕HDFS-笔记4之压缩

1.1. 压缩

减少存储空间，加快传输速率

在hadoop中，压缩应用于文件存储、Map端到Reduce端的数据交换等情景。

hadoop，主要考虑压缩速率和压缩文件的可分割性

压缩算法：时间和空间的权衡

更快的压缩和解压缩效率通常压缩比较低。



hadoop提供了对压缩算法的编码和解码器类



编码和解码示例（采用gzip）

package test;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.io.OutputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.CompressionCodecFactory;
import org.apache.hadoop.io.compress.CompressionOutputStream;
import org.apache.hadoop.util.ReflectionUtils;

public class CompressDemo {

public static void main(String[] args) throws Exception {
//compress("org.apache.hadoop.io.compress.GzipCodec");
//GzipCodec
decompress("readme.gz");
}
public static void compress(String className) throws Exception{
File filein = new File("readme.txt");
//输入流
InputStream in = new FileInputStream(filein);

Class codecClass = Class.forName(className);
Configuration conf = new Configuration();
//编码器实例
CompressionCodec codec = (CompressionCodec) ReflectionUtils.newInstance(codecClass, conf);
//输出流，若存在，先删除
File fileout = new File("readme"+codec.getDefaultExtension());
fileout.delete();
OutputStream out = new FileOutputStream(fileout);
//编码器包装输出流，成为编码输出流
CompressionOutputStream codecOut = codec.createOutputStream(out);
//编码输出
IOUtils.copyBytes(in, codecOut, 1024, true);
}
public static void decompress(String fileName) throws Exception{
Configuration conf = new Configuration();
CompressionCodecFactory fact = new CompressionCodecFactory(conf);
//得到一个编解码器
CompressionCodec codec = fact.getCodec(new Path(fileName));
if(codec == null){
System.out.println("Cannot find the codec for file "+fileName);
return;
}
//输入流
InputStream in = codec.createInputStream(new FileInputStream(new File(fileName)));
//输出到控制台
IOUtils.copyBytes(in, System.out, conf);
}
}

1.1.1. 压缩器和解压缩器

getCompressor()可以得到对应编码器的压缩器。

在各个压缩流中都有实现，但是不建议手工去实现，一是复杂二是效率。

总结：hadoop使用CompressionCodec编码和解码器，里面使用的流是压缩和解压缩流CompressionOutputStream和CompressionInputStream,而在流中采用了压缩和解压缩器Compressor、Decompressor

通过上面的那个示例，可以使用即可。

1.1.2. java本地方法

数据压缩往往是极速密集型的操作，考虑到性能，建议使用本地库（Native Library）来压缩和解压。（在某个测试中，与java内置的gzip压缩相比，使用本地gzip压缩库可将解压时间减少50%，压缩时间减少10%）。



这个可以在真正使用到的时候再研究，因为设置C语言等其它语言。

1.1.3. snappy压缩

数据压缩库，被google用于许多内部项目，如BigTable，Mapreduce，等该算法库针对性能做了调整，经过了PB级数据压缩的考验，所以有必要提一提。

org.apache.hadoop.io.compress.snappy包

SnappyCodec类



方法：

setInput为压缩器提供数据

needsInput是否需要加载新的输入数据

compress 压缩数据

finished 压缩是否结束

在需要的时候可以研究一下。