4.hadoop中的压缩
2015-12-11 11:08
337 查看
所有的压缩算法都会考虑时间和空间的权衡
列出一些可以用于Hadoop的常见压缩格式以及特性
Hadoop压缩api应用实例
获得具体的[编码/解码]方式
egg1:通过传入压缩的方式名反射
egg2:通过文件拓展名获得,通过[编码/解码]工厂CompressionCodecFactory
对于工厂方法而言,用于创建多种产品
Hadoop压缩框架
1.编码/解码器
CompressionCodec
接口实现了[编码/解码器],提供了一系列方法
CompressionCodecFactory:
使用者可以通过它提供的方法获得CompressionCodec:
其中成员变量codecs是一个键有序的map集合,存储着映射关系:[文件拓展名:CompressionCodec]
2.解压器和压缩器
Compressor
setInput()接受数据到内部缓冲区
needsInput()内部缓冲区是否已满
compress()获取压缩后的数据,释放缓冲区空间
finish()为了通知压缩器所有数据已写入
finished()判断压缩器中是否还有未读取的压缩数据
Decompressor
类似Compressor,略
3.压缩流和解压缩流
列出一些可以用于Hadoop的常见压缩格式以及特性
Hadoop压缩api应用实例
获得具体的[编码/解码]方式
egg1:通过传入压缩的方式名反射
egg2:通过文件拓展名获得,通过[编码/解码]工厂CompressionCodecFactory
对于工厂方法而言,用于创建多种产品
Hadoop压缩框架
1.编码/解码器
CompressionCodec
接口实现了[编码/解码器],提供了一系列方法
CompressionCodecFactory:
使用者可以通过它提供的方法获得CompressionCodec:
其中成员变量codecs是一个键有序的map集合,存储着映射关系:[文件拓展名:CompressionCodec]
2.解压器和压缩器
Compressor
setInput()接受数据到内部缓冲区
needsInput()内部缓冲区是否已满
compress()获取压缩后的数据,释放缓冲区空间
finish()为了通知压缩器所有数据已写入
finished()判断压缩器中是否还有未读取的压缩数据
Decompressor
类似Compressor,略
3.压缩流和解压缩流
相关文章推荐
- 3.hadoop中的序列化
- 2.hadoop配置信息处理
- 深入理解SELinux SEAndroid之二
- 1.hadoop的认识
- OpenSceneGraph几个重要功能节点练习
- 下拉列表框DropDownList绑定Dictionary泛型类
- shell调用脚本--直接退出不执行后续命令
- centos7中mysql自带压测工具mysqlslap使用
- 搭建Hadoop集群中遇到的坑
- opencv 读取rgb.txt 并显示出来
- hadoop学习博客
- 5. storm常用命令(客户端storm shell)
- 编译opencv文件
- 拓扑排序(topological sort)
- hive shell执行命令报错:Specified key was too long; max key length is 767 bytes
- CentOS安装telnet
- CentOS6.5 配置IP的两种方式
- 常用网站背景颜色代码表
- 根据目前业务优化的新架构
- linux根分区扩容