Load Native-Hadoop Library For Mac
2016-05-12 13:14
501 查看
环境:
Mac OSX: 10.9.5
Hadoop: 2.6.0
Java: 1.7.0_71
Mac OSX 下运行Hadoop老出现以下警告, 其实就是缺少本地库
首先安装protobuf, 不然编译Hadoop会报错, 从以下地址下载
https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz
开始编译并安装
将protobuf放进环境变量
首先确定JAVA_HOME在环境变量中
必须首先编译Hadoop, 下载Hadoop 源代码
http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
这时候会遇到以下错误
解决办法,
最后经过10分钟, 输出以下信息就是编译完成
将native 文件夹拷贝到hadoop目录中
修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh
此时再运行一次MapReduce Job, 就不会再出现那句警告了。
参考 http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/NativeLibraries.html http://stackoverflow.com/questions/15745010/org-apache-maven-plugin-mojoexecutionexception-protoc-failure
Mac OSX: 10.9.5
Hadoop: 2.6.0
Java: 1.7.0_71
Mac OSX 下运行Hadoop老出现以下警告, 其实就是缺少本地库
14/12/05 14:40:27 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
安装 protobuf
首先安装protobuf, 不然编译Hadoop会报错, 从以下地址下载https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz
开始编译并安装
./configure --prefix=/apps/dev/protobuf make -j4 make install
将protobuf放进环境变量
export PATH=/apps/dev/protobuf/bin:$PATH export DYLD_LIBRARY_PATH=/apps/dev/protobuf/lib
编译Hadoop
首先确定JAVA_HOME在环境变量中export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_71.jdk/Contents/Home
必须首先编译Hadoop, 下载Hadoop 源代码
http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
tar xf hadoop-2.6.0.tar.gz cd hadoop-2.6.0-src /apps/dev/apache-maven-3.2.2/bin/mvn package -Pdist,native -DskipTests -Dtar -Dmaven.javadoc.skip=true
这时候会遇到以下错误
Exception in thread "main" java.lang.AssertionError: Missing tools.jar at: /Library/Java/JavaVirtualMachines/jdk1.7.0_71.jdk/Contents/Home/Classes/classes.jar. Expression: file.exists()
解决办法,
sudo mkdir $JAVA_HOME/Classes sudo ln -sf $JAVA_HOME/lib/tools.jar $JAVA_HOME/Classes/classes.jar
最后经过10分钟, 输出以下信息就是编译完成
[INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------ [INFO] Total time: 10:26 min [INFO] Finished at: 2014-12-05T19:13:14+08:00 [INFO] Final Memory: 193M/844M
将native 文件夹拷贝到hadoop目录中
rm -rf hadoop-dist/target/hadoop-2.6.0/lib/native cp -r hadoop-dist/target/hadoop-2.6.0/lib/native /apps/dev/hadoop-2.6.0/lib
修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.library.path=/apps/dev/hadoop-2.6.0/native"
此时再运行一次MapReduce Job, 就不会再出现那句警告了。
参考 http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/NativeLibraries.html http://stackoverflow.com/questions/15745010/org-apache-maven-plugin-mojoexecutionexception-protoc-failure
相关文章推荐
- top命令
- Linux进程描述符task_struct结构体详解--Linux进程的管理与调度(一)
- Server-01 How to Find the Remote Desktop Port
- 每天一个Linux命令(14)head命令
- 实现鼠标对立体图的控制(2)放缩
- 菜单选项OptionsMenu实现改变字体颜色和改变字体大小的功能
- shell笔试题
- 操作系统监测:nmon
- 《Linux驱动》混杂设备与设备节点
- org.apache.jasper.JasperException: The Struts dispatcher cannot be found的解决方法
- maven构建CDH开发环境
- linux部署kafka
- 每秒处理10万订单乐视集团支付架构
- 【转载】禁止apache显示目录索引的常见方法(apache禁止列目录)
- Linux守护进程(init.d和xinetd)
- 怎么在linux下用vim编写一个C程序
- windows与linux双系统,删除linux分区后,开机进入grub resuce提示符的问题
- linux学习计划
- linux基础(18)--linux文件系统--RHEL6.5
- java.lang.NoClassDefFoundError: org/apache/commons/lang/exception/NestableRuntimeException