Hadoop1.2.1单机版部署
2015-07-17 09:38
302 查看
1.安装ssh
sudo apt-get install ssh
现在确认能否不输入口令就用ssh登录localhost:
ssh localhost
如果不输入口令就无法用ssh登陆localhost,执行下面的命令:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
测试:ssh localhost 时 第一次,有一个问题的选择,一定要输入yes!!!
2.安装rsync
sudo apt-get install rsync
3.配置JDK环境
3.1 下载jdkubuntu从哪个版本起开始 apt-get install 默认安装的是openjdk,虽然差别不大,但是为了防止意想不到的错误发生,还是下载安装sun-jdk吧。到oracle官网上下载最新版jdk
http://www.oracle.com/technetwork/java/javase/downloads/java-se-jdk-7-download-432154.html
3.2 解压文件
一般直接下载.tar.gz格式的文件,手动或者终端命令解压 tar -xvzf jdk-7-linux-i586.tar.gz,得到文件夹 jdk1.7.0 。
3.3 移动jdk文件夹
可以自由选择,一般开发的东西习惯放在了 /usr/local/ 文件夹下,有人喜欢放在 /opt/ 下,也可以放在系统默认放置jdk的地址下 /usr/lib/jvm/ ,这个地址下也有openjdk的各个版本,如果没有jvm文件夹那就自己创建一个:mkdir /usr/lib/jvm。移动到这两个地址需要用到root权限,mv jdk1.7.0 /usr/lib/jvm。一般为了方便配置环境变量,把jdk的文件改名一下,网上普遍把jdk的文件改名为 jdk-7-sun ,mv /usr/lib/jvm/jdk1.7.0 /usr/lib/jvm/java-7-sun。
3.4 配置环境变量
打开环境变量文件:
sudo gedit ~/.bashrc
在最后输入:
export JAVA_HOME=/usr/lib/jvm/java-7-sun export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
保存环境变量,退出编辑器,输入命令使之生效 source ~/.bashrc ,可输入 env 命令查看设置是否成功
3.5 配置默认jdk
把你安装的jdk配置成默认的jdk,输入以下命令
sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/java-7-sun/bin/java 300 sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java-7-sun/bin/javac 300 sudo update-alternatives --config java
如果系统中安装了其他的jdk,会提示,选择对应的jdk7即可
3.6 测试jdk版本
输入 java -version 命令,查看jdk版本,如果结果和下面的类似,配置就成功了。
4 配置Hadoop
进入Hadoop的conf文件夹打开hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-7-sun
打开hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
打开core-site.xml
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/home/xuyao/hadoop/hadoop-1.2.1</value> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
打开mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
打开环境变量文件
export HADOOP_HOME=/home/xuyao/hadoop/hadoop-1.2.1 export HADOOP_CONF_DIR=$HADOOP_HOME/conf export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/conf:$PATH export HADOOP_HOME_WARN_SUPPRESS=not_null
保存,并使之生效
5 启动Hadoop
格式化hadoop namenode -format
启动Hadoop
start-all.sh
最后,验证Hadoop是否安装成功。打开浏览器,输入以下网址:
http://localhost:50030(MapReduce的web页面)
http://localhost:50070(HDFS的web页面)
相关文章推荐
- 简约之美jodd--props属性使用
- linux系统中mysql修改密码并设置远程访问和解决mysql乱码问题
- 基于Handler架构的录音程序
- tomcat 性能优化
- Linux安装MySQL的两种方法{linux系统mysql安装之前需要先检查是否已经安装,把已经有的库文件卸载掉,否则会出现覆盖错误}
- 常用shell命令
- 12个Linux进程管理命令介绍
- 12个Linux进程管理命令介绍
- 方法对头,报表模板维护其实很简单
- 方法对头,报表模板维护其实很简单
- [转载] linux 速查表
- .NET三层架构与EF
- Linux学习篇之三 shell
- 一个Linux内核的自旋锁设计-接力嵌套堆栈式自旋锁
- 一个Linux内核的自旋锁设计-接力嵌套堆栈式自旋锁
- 阿里云ECS(linux)修改myspl数据库密码
- <linux是怎么跑的?>傻瓜视角看linux引导启动过程
- Linux 安装 git
- Linux磁盘分区-格式化-加载-卸载
- linux环境下libevent的使用