快速为CDH版本HADOOP安装配置Lzo和Snappy压缩
2018-01-11 19:41
661 查看
注:本文针对的是使用命令行安装和配置CDH Hadoop,如果你使用RPM或者ClouderaManager,基本可以忽略此文。
Hadoop在计算和存储过程中,支持对文件进行压缩,可以使用hadoop checknative命令来查看:
其中,像zlib、lz4、bzip2,会使用系统库,那么需要在Hadoop所在机器上先安装这些。
Snappy和Lzo,需要单独安装配置,CDH版本的hadoop,已经为每一个版本及操作系统编译好了Snappy和Lzo库(RPM),可以通过RPM来获得。
http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.8.3/RPMS/x86_64/
Snappy库可以从上面链接中的Hadoop RPM包中获取,注意:需要找到正确的操作系统及cdh版本,我使用的操作系统为centos 7,cdh5.8.3.
http://archive.cloudera.com/gplextras5/redhat/7/x86_64/gplextras/5.8.3/RPMS/x86_64/
Lzo库及jar包,可以从上面的链接中获得,仍然需要注意你的操作系统版本和cdh版本。
RPM包下载好之后,使用下面的命令安装:
rpm -ivh hadoop-2.6.0+cdh5.8.3+1718-1.cdh5.8.3.p0.7.el6.x86_64.rpm –nodeps
rpm -ivh hadoop-lzo-0.4.15+cdh5.8.3+0-1.cdh5.8.3.p0.7.el7.x86_64.rpm –nodeps
安装后的路径一般会在/usr/lib/hadoop/
也可使用rpm -ql hadoop-2.6.0+cdh5.8.3+1718-1.cdh5.8.3.p0.7.el6.x86_64来查询安装路径。
## 备份和拷贝native库目录:
cd $HADOOP_HOME/lib
mv native native-bak
cp -r /usr/lib/hadoop/lib/native $HADOOP_HOME/lib/
## 拷贝lzo jar包:
cp /usr/lib/hadoop/lib/hadoop-lzo-0.4.15-cdh5.8.3.jar $HADOOP_HOME/share/hadoop/common/lib/
拷贝完后,需要先卸载掉前面安装的两个包:
rpm -e hadoop-lzo-0.4.15+cdh5.8.3+0-1.cdh5.8.3.p0.7.el7.x86_64 –nodeps
rpm -e hadoop-2.6.0+cdh5.8.3+1718-1.cdh5.8.3.p0.7.el6.x86_64 –nodeps
检查 hadoop checknative:
OK了,将更新后的$HADOOP_HOME/lib/native以及$HADOOP_HOME/share/hadoop/common/lib/hadoop-lzo-0.4.15-cdh5.8.3.jar分发至集群所有节点;
重启集群。
Hadoop在计算和存储过程中,支持对文件进行压缩,可以使用hadoop checknative命令来查看:
其中,像zlib、lz4、bzip2,会使用系统库,那么需要在Hadoop所在机器上先安装这些。
Snappy和Lzo,需要单独安装配置,CDH版本的hadoop,已经为每一个版本及操作系统编译好了Snappy和Lzo库(RPM),可以通过RPM来获得。
http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.8.3/RPMS/x86_64/
Snappy库可以从上面链接中的Hadoop RPM包中获取,注意:需要找到正确的操作系统及cdh版本,我使用的操作系统为centos 7,cdh5.8.3.
http://archive.cloudera.com/gplextras5/redhat/7/x86_64/gplextras/5.8.3/RPMS/x86_64/
Lzo库及jar包,可以从上面的链接中获得,仍然需要注意你的操作系统版本和cdh版本。
RPM包下载好之后,使用下面的命令安装:
rpm -ivh hadoop-2.6.0+cdh5.8.3+1718-1.cdh5.8.3.p0.7.el6.x86_64.rpm –nodeps
rpm -ivh hadoop-lzo-0.4.15+cdh5.8.3+0-1.cdh5.8.3.p0.7.el7.x86_64.rpm –nodeps
安装后的路径一般会在/usr/lib/hadoop/
也可使用rpm -ql hadoop-2.6.0+cdh5.8.3+1718-1.cdh5.8.3.p0.7.el6.x86_64来查询安装路径。
## 备份和拷贝native库目录:
cd $HADOOP_HOME/lib
mv native native-bak
cp -r /usr/lib/hadoop/lib/native $HADOOP_HOME/lib/
## 拷贝lzo jar包:
cp /usr/lib/hadoop/lib/hadoop-lzo-0.4.15-cdh5.8.3.jar $HADOOP_HOME/share/hadoop/common/lib/
拷贝完后,需要先卸载掉前面安装的两个包:
rpm -e hadoop-lzo-0.4.15+cdh5.8.3+0-1.cdh5.8.3.p0.7.el7.x86_64 –nodeps
rpm -e hadoop-2.6.0+cdh5.8.3+1718-1.cdh5.8.3.p0.7.el6.x86_64 –nodeps
检查 hadoop checknative:
OK了,将更新后的$HADOOP_HOME/lib/native以及$HADOOP_HOME/share/hadoop/common/lib/hadoop-lzo-0.4.15-cdh5.8.3.jar分发至集群所有节点;
重启集群。
相关文章推荐
- Linux7 下Hadoop集群用户管理方案之二 CDH5.9.0版本安装配置
- hadoop集群内lzo的安装与配置 推荐
- CDH版本hadoop2.6伪分布式安装
- windows(64位)下用GPU版本的mxnet配置(绑定python)+xgboost快速安装使用
- lzo的安装及在hadoop中的配置 .
- lzo的安装及在hadoop中的配置
- lzo的安装及在hadoop中的配置
- unbuntu server12.04配置hadoop2.7.1(四):hadoop 2.7.1的安装(所有2.x版本都可以)
- hadoop cdh 4.5的安装配置
- hadoop集群内lzo的安装与配置
- CentOS6.5下>>hadoop2.6.2版本的>>Mysql数据库的安装与配置
- Hbase0.98版本的安装部署配置管理(Hadoop2.3、Hbase0.98、Hive0.13整合)
- Hadoop 2.x(YARN)安装配置LZO
- (三)Linux下Hadoop2以上版本安装配置
- hadoop lzo跟hive RCFile安装配置详解
- Hadoop集群内lzo的安装与配置
- Hadoop0.20.2版本在Ubuntu下安装和配置
- Hadoop LZO的安装与配置
- Hadoop快速上手系列(一)Hadoop部署,安装和配置