Hadoop 部署 2
2007-01-25 14:09
169 查看
1.前言:
以前在window下部署hadoop项目,部署过程中出现不少问题,虽然基本上进行了排除解决,但总体上在windows上部署hadoop分布项目不象在linux下那么顺利.最后还是在linux下进行了部署.
2.部署软硬件设备:
软件:
1.java执行环境jdk1.5+,jre1.5+
2.hadoop软件,从http://lucene.apache.org/hadoop下载后通过ant对项目进行打包获取安装在各机器上的程序副本.
硬件:
三台机器 :一台实际的linux机器,另安装了两个linux虚拟机,总体为三台机器.
暂命名为:
10.0.0.1
10.0.0.2
10.0.0.3
3.运行布局
在10.0.0.1上运行名称节点(NameNode)以及工作跟踪节点(JobTracker)
10.0.0.2以及10.0.0.3上运行数据节点(DataNode)以及任务执行节点(TaskTracker)
4系统设置
4.1支撑环境设置JAVA
对JAVA_HOME,PATH,以及CLASSPATH进行设置
具体步骤如下:
Vi /etc/profile
在文件中添加环境变量
Source /etc/profile 重新加载环境变量
4.2 在系统中设置ssh访问控制通过rsa 方式验证.
SSH-keygen –t rsa
对产生的id_rsa.pub复制到authorized_keys中,然后把authorized_keys文件复制到
其他待访问机器的/user/home/.ssh下这样就建立了对于当前用户无密码访问其他机器的环境.
4.3 在各台及其上启动rsync服务。在启动过程中例如我们输入bin/start-all.sh这样在开始启动过程中待启动的机器会与当前及其进行同步.例如我们在10.0.0.1上启动在
屏幕上会看到
10.0.0.2 rsync from 10.0.0.1:/hadood目录
不配置的话在这里会出现错误.
4.4 slaves 设置
在部署目录下的conf中填写待启动的机器节点列表
例如10.0.0.2
10.0.0.3
通过以上部署直接在终端输入bin/start-all.sh
即可启动hadoop的分布文件系统以及分布计算系统环境。
相关文章推荐
- hadoop集群部署介绍
- 将OpenStack私有云部署到Hadoop MapReduce环境
- hadoop集群部署
- hadoop之文件系统HA搭建的部署细节
- fedora 15 部署hadoop 0.21 全分布式模式 1namenode 2datanode
- 基于Hadoop的日志收集框架---Chukwa的安装部署
- Hadoop2.7的配置部署及测试
- hadoop部署过程学习总结
- hadoop 的简单搭建部署
- 基于hadoop MR+berkeley DB实现的十亿级数据的秒级部署和实时查询的解决方案
- hadoop ubuntu (单节点)部署
- Hadoop2.7.1——NFS部署
- hadoop完全分布式部署无法访问namenode的8020端口解决方案
- windows下hadoop的单机伪分布式部署(1)
- windows下hadoop的单机伪分布式部署(2)
- hadoop集群安装部署(一)
- Hadoop入门系列4——安装,配置,编程,部署和运行
- Hadoop单机模式部署
- Hadoop-2.2.0集群部署时live nodes数目不对的问题
- Hadoop分布式文件系统架构部署