Ubuntu14.04 (x64) 下hadoop2.5.0的编译
2015-06-12 09:59
393 查看
Ubuntu14.04 (x64) 下hadoop2.5.0的编译
详情见原文地址:http://jeyzhang.com/154/1. 前言
2. 操作系统及版本说明
Ubuntu14.04 64位。
如果你的操作系统是32位的,可以跳过这篇,因为只有64位的linux系统需要进行hadoop的编译。
> 如何查看linux系统的位数
1 2 3 4 5 6 7 | 方法1: #查看long的位数,返回32或64 getconf LONG_BIT 方法2: #查看文件信息,包含32-bit就是32位,包含64-bit就是64位 file /sbin/init |
Hadoop 2.5.0
4. 编译工作
4.1 编译准备
编译之前需要安装一些软件和工具,有些是linux自带的,但是有些是要自己去下载安装的。如果系统中已安装,请检查一下软件的版本是否匹配,如果不匹配则进行升级或者重新安装。
4.1.1 jdk安装配置
建议安装jdk1.7.X版本,笔者之前安装的是jdk1.8.0,编译时出现了问题。
去官网上下载适合自己系统的JDK版本(注意选择x64版本的,后缀名为tar.gz),这里建议安装jdk1.7.0版本。
选择
1 | Linux x64 135.78 MB jdk-7u67-linux-x64.tar.gz |
1 2 3 4 5 6 7 8 9 10 11 12 13 | # 复制到/usr/lib/jvm下 # 如果没有jvm目录则cd到/usr/lib下新建 sudo mkdir /usr/lib/jvm sudo cp /home/jerry/downlods/jdk-7u67-linux-x64.tar.gz /usr/lib/jvm # 解压 sudo tar zxvf jdk-7u67-linux-x64.tar.gz # 重命名 sudo mv jdk1.7.0_67 jdk1.7.0 # 可以删除压缩包 sudo rm jdk-7u67-linux-x64.tar.gz |
1 | sudo vim ~/.bashrc |
1 | source ~/.bashrc |
1 2 3 4 | export JAVA_HOME=/usr/lib/jvm/jdk1.7.0 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH |
1 2 3 4 5 | sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.7.0/bin/java 300 sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.7.0/bin/javac 300 sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/jdk1.7.0/bin/jar 300 sudo update-alternatives --install /usr/bin/javah javah /usr/lib/jvm/jdk1.7.0/bin/javah 300 sudo update-alternatives --install /usr/bin/javap javap /usr/lib/jvm/jdk1.7.0/bin/javap 300 |
1 | sudo update-alternatives --config java |
1 2 | There is only one alternative in link group java (providing /usr/bin/java): /usr/lib/jvm/java/ bin/java |
如果非首次安装,需要选择对应的JDK版本,即输入对应的数字(*对应的是系统默认的JDK版本)
1 2 3 4 | 选择 路径 优先级 状态 ------------------------------------------------------------ 0 /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java 1071 自动模式 * 1 /usr/lib/jvm/jdk1.7.0/bin/java 300 手动模式 |
1 | java -version |
1 2 3 | java version "1.7.0_67" Java(TM) SE Runtime Environment (build 1.7.0_67-b01) Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode) |
1 | sudo chmod -R 774 /usr/lib/jvm |
1 | sudo chown -R 用户名 /usr/lib/jvm |
简介:Maven 一词的意思是“专家”或者“内行”,作为Apache组织中的一个十分成功的开源项目,Maven主要服务于基于Java平台的项目构建、依赖管理和项目 信息管理。Maven是一个异常强大的构建(build)工具,能够帮助我们自动化构建过程,从清理、编译、测试到生成报告,再到打包和部署,对于 Maven而言只需要输入简单的命令即可完成(更多介绍)。
安装
1 | sudo apt-get install maven |
检查
1 | mvn -version |
1 2 3 4 5 6 | Apache Maven 3.0.5 Maven home: /usr/share/maven Java version: 1.7.0_67, vendor: Oracle Corporation Java home: /usr/lib/jvm/jdk1.7.0/jre Default locale: zh_CN, platform encoding: UTF-8 OS name: "linux", version: "3.13.0-34-generic", arch: "amd64", family: "unix" |
简介:Protobuf,即protocolbuffer,是google定义的一种数据交换格式,独立于语言和平台,目前google官方提供了三种语言(java, c++, python)的实现。相对于xml,protocol buffer 的解析速度快得多,这归功于它是一种二进制的格式(代价是牺牲可读性),适合于海量数据的交换、传输和存储(更多介绍)。
建议直接搜索“probuf-2.5.0.tar.gz”,然后下载,给出笔者的下载地址。
然后解压到自己的用户目录(如/home/jerry)下
1 | tar zxvf protobuf-2.5.0.tar.gz -C /home/jerry |
1 2 3 4 5 6 7 8 | cd /usr/jerry/protobuf-2.5.0 # 执行以下命令 sudo ./configure sudo make sudo make check sudo make install sudo ldconfig |
1 2 | # 安装基本的开发包 sudo apt-get install build-essential |
验证
1 | protoc --version |
1 | libprotoc 2.5.0 |
1 | sudo apt-get install libssl-dev |
1 | sudo apt-get install cmake |
给出笔者的下载地址,如果失效可自行搜索”apache-ant-1.9.4-bin.tar.gz”下载
解压
1 | tar zxvf apache-ant-1.9.4-bin.tar.gz |
1 | sudo vim /etc/profile |
1 2 | export ANT_HOME = /home/jerry/apache-ant-1.9.4 export PATH = $PATH:$ANT_HOME/bin |
1 | source /etc/profile |
1 | ant -version |
1 | Apache Ant(TM) version 1.9.4 compiled on April 29 2014 |
如果完成了4.1部分的安装,那么就可以开始编译hadoop了。笔者的hadoop版本为最新的2.5.0,其他的2.X版本也可以参考。
4.2.1 下载hadoop2.5.0
进入hadoop官网的下载地址,注意选择下载的版本
1 | hadoop-2.5.0-src.tar.gz 07-Aug-2014 01:51 15M |
1 | tar zxvf hadoop-2.5.0-src.tar.gz |
1 | cd hadoop-2.5.0-src |
1 2 | # 编译 mvn package -Pdist,native -DskipTests -Dtar |
如果有输出的最后以下提示,编译成功
1 2 3 4 5 6 | ------------------------------------------------------------------------------------------------ BUILD SUCCESS ------------------------------------------------------------------------------------------------ Total time: ****** Finished at: ****** Final Memory: **** |
1 2 | hadoop-2.5.0 hadoop-2.5.0.tar.gz |
下一篇将介绍hadoop2.5.0的单节点的安装及测试。
转载请注明本文的链接地址: http://jeyzhang.com/154/,谢谢: )
相关文章推荐
- opencv MAT数据操作
- SELinux 学习笔记
- SSH架构BaseDao实现
- Linux下ls命令颜色效果
- 在Linux中用chattr和lsattr命令管理文件和目录属性
- bet365时时彩网站源码
- linux文件夹对比命令——meld
- Windows资源监控工具大全
- 关于centos连接mssql的问题
- 嵌入式linux开机应用程序自启动
- fopen()功能
- 评价聚类结果之entropy(熵值)和purity(纯度)
- tomcat7中的jar包共享
- openstack git review 29418被墙解决办法
- Hadoop2.6.0 + Zookeeper3.4.6 + HBase0.98.9hadoop2环境搭建示例
- Linux命令行报bash:.....:command not found的解决办法
- 如何使用Monit部署服务器监控系统
- 浅谈Docker隔离性和安全性
- 如何在 Docker 容器之间设置网络
- docker “FATA[0162] ... connection timed out" 错误改正方法