ClouderaManager之CDH-LZO配置
2018-01-12 13:59
1256 查看
CDH-LZO配置
下载和CDH版本对应的hadoop-lzo版本
如下:下载地址:http://archive.cloudera.com/gplextras5/parcels/
需要下载如下三个文件:
GPLEXTRAS-5.4.0-1.cdh5.4.0.p0.27-el6.parcel
GPLEXTRAS-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha1(使用的时候重命名成.sha)
manifest.json
配置包到cloudera-manager共享目录
因为使用的是parcels安装,首先将下载好的文件放到cloudera-manager共享的目录中,此处为:进入到cloudera-manager的控制页面,主机àparcelà位置,在CNNIC(CM集群的名字)选项中目录改为/opt/cloudera-manager/cloudera/parcel-repo。
安装激活lzo服务
Cloudera-manager控制页面,主机àparcelà检查新Parcel,如果配置正确,则出现如下界面:点击分配,进行到如下界面:
之后进入激活状态中:
步骤完成后,状态一列会出现“已分配。已激活”。
至此,lzo服务安装工作已经完成。
修改配置集群的lzo服务
修改HDFS配置
在io.compression.codecs属性值中追加如下值:com.hadoop.compression.lzo.LzoCodec
com.hadoop.compression.lzo.LzopCodec
如下图所示:
修改YARN配置
将mapreduce.application.classpath的属性值增加一项:/opt /cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/*如下图所示:
修改MR应用程序环境
修改mapreduce.admin.user.env的属性值,增加一项:/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/native,如下图所示:
重启集群生效。
Lzo使用步骤:
将文件以lzop命令进行本地压缩;将压缩好的.lzo文件上传put到Hadoop集群;
Hive建表指向刚上传的文件;
create external table testlzo(
id int comment ‘id’,
name string comment ‘name’
)
row format delimited fields terminated by '\001'
stored as inputformat 'com.hadoop.mapred.deprecatedlzotextinputformat'
outputformat 'org.apache.hadoop.hive.ql.io.hiveignorekeytextoutputformat'
location '……';
使得查询结果以压缩的格式输出:在hive脚本执行之前进行环境的设置
其中set hive.exec.compress.output=true;
set mapred.output.compression.codec=com.hadoop.compression.lzo.lzopcodec;
相关文章推荐
- Cloudera Manager CDH 配置 Oozie
- CentOS7下Cloudera ManagerCDH-5.11安装配置详解
- Cloudera Manager and CDH安装及配置
- Centos 6.5 安装配置Cloudera Manager CDH5.6.0
- Cloudera Manager and CDH安装及配置
- Ubuntu 14.04 安装 Cloudera Manager 5 And CDH 5 (在线安装)
- Cloudera Manager 中Oozie 配置HIVE workflow
- cdh 中 spark 配置 lzo
- 离线部署 Cloudera Manager 5 和 CDH 5.12.1 及使用 CDH 部署 Hadoop 集群服务
- CDH使用秘籍(一):Cloudera Manager和Managed Service的数据库
- cdh 中 spark 配置 lzo
- Hadoop - 企业级大数据管理平台CDH(安装cloudera-manager)
- Cloudera Manager 5 and CDH 5 installation
- 如何用cloudera manager接管已有hadoop的cdh版本集群
- CDH使用秘籍(二):cloudera Manager中监控数据的存储
- CDH 的Cloudera Manager免费与收费版的对比表
- Cloudera Manager CDH 5.12 大数据处理平台部署指南
- CDH 的Cloudera Manager免费与收费版的对比表
- cdh 中 spark 配置 lzo
- cdh 中 spark 配置 lzo