MR中使用sequnceFIle输入文件
2015-09-14 18:47
204 查看
http://www.cnblogs.com/chengxin1982/p/3956920.html
转换原始数据为块压缩的SequenceFIle
MR处理压缩后的sequenceFile
测试结果
文件大小 544M(未使用任何压缩)
耗时:73805
使用 seqencefile(block使用lzo压缩, 中间结果使用snappy压缩)
44207s
分类: hadoop
MR中使用sequnceFIle输入文件
转换原始数据为块压缩的SequenceFIle文件大小 544M(未使用任何压缩)
耗时:73805
使用 seqencefile(block使用lzo压缩, 中间结果使用snappy压缩)
44207s
分类: hadoop
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- html表格排序之完全详解
- 动态改变代码布局
- 华为荣耀6不显示日志解决方案
- 一维搜索之黄金分割法(C#实现)
- 黑马程序员——配置,操作文件
- navicat的windows/linux/mac等在中文线帮助文档地址
- 手势解锁的实现思路
- 9.14学习笔记 studiojar包生成,android插件，毛玻璃
- Android开发环境搭建
- LeetCode -- Plus One
- Asp.net_Webservice返回json
- LocalService
- 抽象、接口、内部类
- 二叉树的重建，遍历，求深度算法
- 【Linux网络编程】浅谈 C/S 和 B/S 架构
- POJ 3630
- WinGW——配置sublime 3运行C程序
- Android , 浅谈显示Intent和隐式Intent
- centos6.5+Django+mysql+nginx+uwsgi
- libevent demo详细分析（对比epoll）