fedora 17 下配置mp3和RMVB播放
2012-11-21 12:48
369 查看
lzo压缩格式有很快的压缩/解压速度和合理的压缩率,并且支持分块(split),所以lzo是目前在hadoop中最流行的压缩格式。hadoop中的lzo不是自带的,如果要支持lzo,需要另外安装。本文介绍了在hadoop2.0上安装和配置lzo,同样也适用于hadoop1.0。
在http://rpm.pbone.net/index.php3/stat/4/idpl/12088286/dir/redhat_el_5/com/lzo2-2.02-3.el5.rf.x86_64.rpm.html下载rpm包lzo2-2.02-3.el5.rf.x86_64.rpm 并安装
也可以下载twitter的hadoop-lzo项目,下载地址:https://github.com/twitter/hadoop-lzo/
twitter的一直在更新和维护,建议下载twitter的
可以修改目录hadoop-lzo-master里的pom.xml,把hadoop.current.version的属性从hadoop2.1.0-beta改为Hadoop 2.2.0(这个不修改也没有问题,不过还是建议改一下)
64位环境的需要设置两个环境变量:
3 修改hadoop的配置文件core-site.xml
修改/增加以下2个参数:
https://github.com/kevinweil/hadoop-lzo
http://www.cloudera.com/blog/2009/11/17/hadoop-at-twitter-part-1-splittable-lzo-compression/
http://code.google.com/p/hadoop-gpl-compression
本文出自 “大数据的自由天空” 博客,请务必保留此出处http://sstudent.blog.51cto.com/7252708/1405371
1 安装linux的lzo库
需要在集群的每一个节点都安装lzo库,假定都64位的机器。在http://rpm.pbone.net/index.php3/stat/4/idpl/12088286/dir/redhat_el_5/com/lzo2-2.02-3.el5.rf.x86_64.rpm.html下载rpm包lzo2-2.02-3.el5.rf.x86_64.rpm 并安装
sudo rpm -ivh lzo2-2.02-3.el5.rf.x86_64.rpm在http://rpm.pbone.net/index.php3/stat/4/idpl/18007725/dir/redhat_el_5/com/lzo-devel-2.06-1.el5.rf.x86_64.rpm.html下载rpm包lzo-devel-2.06-1.el5.rf.x86_64.rpm并安装
sudo rpm -ivh lzo-devel-2.06-1.el5.rf.x86_64.rpm在http://pkgs.repoforge.org/lzop/下载rpm包lzop-1.03-1.el5.rf.x86_64.rpm并安装
sudo rpm -ivh lzop-1.03-1.el5.rf.x86_64.rpmlzop是一个linux下的lzo压缩命令行工具,方便大家在linux下压缩lzo文件,不是必需的。
2 安装hadoop-lzo包
可以下载kevinweil的hadoop-lzo项目,下载地址:https://github.com/kevinweil/hadoop-lzo也可以下载twitter的hadoop-lzo项目,下载地址:https://github.com/twitter/hadoop-lzo/
twitter的一直在更新和维护,建议下载twitter的
wget https://github.com/twitter/hadoop-lzo/archive/master.zip --no-check-certificate -O master.zip下载之后解压
upzip master.zip解压之后是一个目录hadoop-lzo-master
可以修改目录hadoop-lzo-master里的pom.xml,把hadoop.current.version的属性从hadoop2.1.0-beta改为Hadoop 2.2.0(这个不修改也没有问题,不过还是建议改一下)
64位环境的需要设置两个环境变量:
export CFLAGS=-m64 export CXXFLAGS=-m64然后就可以用maven编译了
cd hadoop-lzo-master mvn clean package -Dmaven.test.skip=true注意:如果前面的linux lzo库没有安装在标准目录下,在用maven编译前需要设置C_INCLUDE_PATH和LIBRARY_PATH这两个环境变量,指出lzo的头文件和库文件在哪个目录,如:
export C_INCLUDE_PATH=/usr/local/lzo-2.06/include export LIBRARY_PATH=/usr/local/lzo-2.06/lib编译好之后把编译出来的本地库和jar包hadoop-lzo-0.4.18-SNAPSHOT.jar拷贝到相应的目录,并拷贝到集群的每一个节点上的相应的目录。
cp target/native/Linux-amd64-64/* $HADOOP_HOME/lib/native/ cp target/hadoop-lzo-0.4.20-SNAPSHOT.jar $HADOOP_HOME/share/hadoop/mapreduce/lib/
3 修改hadoop的配置文件core-site.xml
修改/增加以下2个参数:<property> <name>io.compression.codecs</name> <value>org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.BZip2Codec, com.hadoop.compression.lzo.LzoCodec, com.hadoop.compression.lzo.LzopCodec </value> </property> <property> <name>io.compression.codec.lzo.class</name> <value>com.hadoop.compression.lzo.LzoCodec</value> </property>
4 hadoop客户机lzo的安装和配置
和hadoop服务器的机器上的安装和配置一样。5 测试
可以运行以下hdfs命令看是否成功$HADOOP_HOME/bin/hdfs dfs -text /path/to/file.lzo运行一个以lzo文件为输入的作业是否运行成功
6 实战tips
在hadoop2.0中,把maven编译好的jar包hadoop-lzo-0.4.20-SNAPSHOT.jar拷贝到 $HADOOP_HOME/share/hadoop/mapreduce/lib/或者$HADOOP_HOME/share/hadoop/mapreduce/目录下,不需要重启hadoop集群。参考资料:
https://github.com/twitter/hadoop-lzohttps://github.com/kevinweil/hadoop-lzo
http://www.cloudera.com/blog/2009/11/17/hadoop-at-twitter-part-1-splittable-lzo-compression/
http://code.google.com/p/hadoop-gpl-compression
本文出自 “大数据的自由天空” 博客,请务必保留此出处http://sstudent.blog.51cto.com/7252708/1405371
相关文章推荐
- 转:Fedora 17安装后配置|rpmfusion源|Rhythmbox mp3 wma支持插件|smplayer
- 转:Fedora 17安装后配置|rpmfusion源|Rhythmbox mp3 wma支持插件|smplayer
- Fedora17中iptables防火墙配置
- Fedora 17 x64如何配置nfs服务
- Win7 硬盘安装 Fedora17 ,显卡和一些工具的安装与配置
- Fedora17安装MySQL及配置
- fedora 17 配置moses 和giza++机器翻译
- Fedora 17配置NFS
- fedora17 关闭防火墙,配置 sudoer
- Fedora16/17 Mysql 安装及配置
- Fedora 17 配置 Nginx + Mysql + php
- fedora 17 php环境配置
- fedora17 安装后的一些配置和软件安装
- fedora 17安装配置mysql及其图形工具workbench
- fedora17 gnome3配置
- Fedora 17 安装KDE后,配置中文
- Fedora 17 PHP编程环境配置
- Fedora 17配置ssh及Windows远程连接
- Fedora17中安装和配置samba服务器
- Fedora 17 开启samba服务配置