lzo文件创建索引
2017-02-16 16:03
295 查看
lzo文件默认不支持split，创建索引后支持split,这样作为map输入时就可以将文件分割成多个map，否则只能有一个map
创建索引，执行：
hadoop jar /usr/hdp/2.2.6.0-2800/hadoop/lib/hadoop-lzo-0.6.0.2.2.6.0-2800.jar com.hadoop.compression.lzo.DistributedLzoIndexer hdfs://hadoop001:8020/apps/hive/warehouse/hly.db/lzo_aa/1.txt.lzo
说明：可以只写到hdfs://hadoop001:8020/apps/hive/warehouse/hly.db/lzo_aa/ 目录层
索引文件：
hdfs://hadoop001:8020/apps/hive/warehouse/hly.db/lzo_aa/1.txt.lzo.index
创建索引，执行：
hadoop jar /usr/hdp/2.2.6.0-2800/hadoop/lib/hadoop-lzo-0.6.0.2.2.6.0-2800.jar com.hadoop.compression.lzo.DistributedLzoIndexer hdfs://hadoop001:8020/apps/hive/warehouse/hly.db/lzo_aa/1.txt.lzo
说明：可以只写到hdfs://hadoop001:8020/apps/hive/warehouse/hly.db/lzo_aa/ 目录层
索引文件：
hdfs://hadoop001:8020/apps/hive/warehouse/hly.db/lzo_aa/1.txt.lzo.index
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 对TextFile格式文件的lzo压缩建立index索引
- Lucene.Net在创建好索引文件内搜索
- Solr4.7从文件创建索引
- 使用solr创建 附件[word pdf txt等文件索引]
- 拆解Cluene系列(12)——创建索引生成的文件格式和内容
- SQL 文件内容存储表 创建索引
- linux下实现文件存储系统，创建和删除大量文件或文件夹时，updatedb进程会更新文件索引节点inode
- Solr4.7从文件创建索引
- Solr4.7从文件创建索引
- lucene创建索引以及索引文件合并
- hadoop，hive启用lzo压缩和创建lzo索引
- hive中对lzo压缩文件建立索引实现并行处理
- solr创建文件索引代码
- oracle 重建索引以及导出所有的索引脚本(可以解决还原数据库文件时先还原数据，在重新用脚本创建索引)
- Solr4.7从文件创建索引
- hadoop，hive启用lzo压缩和创建lzo索引
- Solr4.7从文件创建索引
- Solr4.7从文件创建索引
- Solrj创建doc/pdf/txt文件索引，高亮查询
- 通过队列解决Lucene文件并发创建索引