搭建Hadoop集群步骤
2012-12-12 17:46
281 查看
搭建Hadoop集群步骤
——基于三台机器
一、前提
1、 首先要有三台已联网机器,假设为A,B1,B2。其中A:192.168.81.91;B1:192.168.81.92;B2:192.168.81.93。机器装有Ubuntu10.04服务器版64位操作系统。
2、 对三台机器做相同的处理。为Hadoop集群的使用新增一个专门的用户,假设用户名和密码均为hadoop。然后使用hadoop用户账户登录到系统。具体操作步骤为:
?
3、 修改hostname和hosts文件。首先修改各机器上的/etc/hostname文件。我们假设A机器作为master,B1和B2作为slaver。则修改A机器的hostname文件内容为master。修改B1机器上的hostname文件内容为slaver1,修改B2机器上的hostname文件内容为slaver2。操作步骤为:
?
三台机器的hosts文件都相同,类似于以下内容,进入编辑方法与hostname文件编辑一致。
?
4、 在各机器上安装JDK1.6或者更高版本。在Ubuntu10.04服务器上自带openJDK,但这对于安装Hadoop不适用,必须安装sun-java JDK。安装方式如下:
?
输入代表所安装sun-java6-JDK的数字,回车。OK,设置完成。可以用java –version命令验证。如果出现以下结果,则表明sun JDK已经安装完成。
5、 配置master用SSH免密码登录到所有slaver。使用ssh –version检查系统是否安装ssh。如果显示如下结果吗,则表明系统已安装SSH。
如果没有安装,请使用下面命令安装:
?
系统安装ssh完成后就开始配置无密码登录了。需要对每台slaver都做相同的处理。以下操作是在master机器上对slaver1进行操作的步骤,slaver2类似。
?
二、安装hadoop(以下以hadoop-0.20.2为例)
?
1、 首先下载hadoop,使用如下命令:
?
2、 解压下载的hadoop压缩包,使用ls命令可以查看是否已下载并在当前目录,命令如下:
?
3、 解压后可以在当前目录得到一个hadoop-0.20.2子目录。配置需要修改的文件全部位于该目录的子目录conf下面。使用cd hadoop-0.20.2/conf进入conf目录。修改文件使用vim编辑器。
(1) 修改hadoop-env.sh
添加内容:
(2) 修改core-site.xml
(3) 修改hdfs-site.xml
(4) 修改mapred-site.xml
(5) 修改masters
?
(6) 修改slaves
?
4、 为了方便hadoop使用,我们将hadoop的安装路径加到系统path中。使用如下命令:
?
在文本编辑器下对.bashrc进行如下修改:
OK,以上仅供参考,谢谢。(2012-12-11)
——基于三台机器
一、前提
1、 首先要有三台已联网机器,假设为A,B1,B2。其中A:192.168.81.91;B1:192.168.81.92;B2:192.168.81.93。机器装有Ubuntu10.04服务器版64位操作系统。
2、 对三台机器做相同的处理。为Hadoop集群的使用新增一个专门的用户,假设用户名和密码均为hadoop。然后使用hadoop用户账户登录到系统。具体操作步骤为:
?
?
?
?
输入代表所安装sun-java6-JDK的数字,回车。OK,设置完成。可以用java –version命令验证。如果出现以下结果,则表明sun JDK已经安装完成。
5、 配置master用SSH免密码登录到所有slaver。使用ssh –version检查系统是否安装ssh。如果显示如下结果吗,则表明系统已安装SSH。
如果没有安装,请使用下面命令安装:
?
?
?
?
?
(1) 修改hadoop-env.sh
添加内容:
(2) 修改core-site.xml
(3) 修改hdfs-site.xml
(4) 修改mapred-site.xml
(5) 修改masters
?
?
?
OK,以上仅供参考,谢谢。(2012-12-11)
相关文章推荐
- 搭建Hadoop集群步骤
- 【hadoop】5004-Hadoop2.x 集群搭建步骤
- Hadoop2.0 HA 集群搭建步骤
- Ubuntu 上搭建伪分布式模式Hadoop集群 步骤与分析
- 基于Hadoop 2.2.0的高可用性集群搭建步骤(64位)
- 集群RedHat6.5+JDK1.8+Hadoop2.7.3+Spark2.1.1+zookeeper3.4.6+kafka2.11+flume1.6环境搭建步骤
- Hadoop集群搭建详细步骤(2.6.0)
- HBase0.99.2集群的搭建步骤(在hadoop2.6.4集群和zookeeper3.4.5集群上)
- 腾讯云hadoop集群搭建步骤,namenode/datanode启动问题
- hadoop集群搭建步骤整理及事项
- CentOS7.0 64位下搭建Hadoop2.X集群详细步骤
- Hadoop集群环境搭建详细步骤
- hadoop2.6.4的HA集群搭建超详细步骤
- Hadoop-2.4.1集群搭建步骤
- CentOS搭建Hadoop分布式集群详细步骤和常见问题解决
- Hadoop集群搭建步骤
- Hadoop集群搭建步骤
- Hadoop2.0 HA集群搭建步骤
- Hadoop-2.7.1集群环境搭建步骤(二)
- VMware 中hadoop 集群搭建步骤