ubuntu hadoop完全分布式模式配置
2012-08-03 19:05
417 查看
1.安装java环境,配置jdk
2.有三台机器master datanode1 datanode2
IP分别是
master:10.196.80.80
datanode1:10.196.80.81
datanode2:10.196.80.82
master作为NameNode,剩余两台作为DataNode
三台机器拥有相同的用户名和密码。用户名和密码都是hadoop
配置三台机器的etc/hosts
127.0.0.1 localhost
10.196.80.80 master
10.196.80.81 datanode1
10.196.80.82 datanode2
3.SSH配置
$ mkdir .ssh
$ ssh-keygen -t rsa
$ chmod
$ cd ~/.ssh
$ cp id_rsa.pub authorized_keys
$ scp authorized_keys datanode1:/home/hadoop/.ssh
$ scp authorized_keys datanode2:/home/hadoop/.ssh
4.安装hadoop
首先在master上执行解压缩命令
$ tar -zxvf /usr/java/hadoop-0.20.2.tar.gz
配置conf/core-site.xml hdfs-site.xml mapred-site.xml
core-site.xml 中把fs.default.name值改为hdfs://master:9000
hdfs-site.xml中把dfs.replication值改为1
mapred-site.xml中把mapred.job.tracker改为master:9000
masters中加入主机名master
slaves中加入Slaves的主机名datanode1 datanode2
把hadoop安装复制到其它机器上
$ scp -r hadoop-0.20.2 datanode1:/usr/java
$ scp -r hadoop-0.20.2 datanode2:/usr/java
编辑所有机器的conf/hadoop-env.sh,将JAVA_HOME设置各自jdk的安装目录
至此,hadoop已经在集群上配置完毕
2.有三台机器master datanode1 datanode2
IP分别是
master:10.196.80.80
datanode1:10.196.80.81
datanode2:10.196.80.82
master作为NameNode,剩余两台作为DataNode
三台机器拥有相同的用户名和密码。用户名和密码都是hadoop
配置三台机器的etc/hosts
127.0.0.1 localhost
10.196.80.80 master
10.196.80.81 datanode1
10.196.80.82 datanode2
3.SSH配置
$ mkdir .ssh
$ ssh-keygen -t rsa
$ chmod
700 ~/.
ssh
/
$chmod600 ~/.[code]ssh
/authorized_keys[/code]
$ cd ~/.ssh
$ cp id_rsa.pub authorized_keys
$ scp authorized_keys datanode1:/home/hadoop/.ssh
$ scp authorized_keys datanode2:/home/hadoop/.ssh
4.安装hadoop
首先在master上执行解压缩命令
$ tar -zxvf /usr/java/hadoop-0.20.2.tar.gz
配置conf/core-site.xml hdfs-site.xml mapred-site.xml
core-site.xml 中把fs.default.name值改为hdfs://master:9000
hdfs-site.xml中把dfs.replication值改为1
mapred-site.xml中把mapred.job.tracker改为master:9000
masters中加入主机名master
slaves中加入Slaves的主机名datanode1 datanode2
把hadoop安装复制到其它机器上
$ scp -r hadoop-0.20.2 datanode1:/usr/java
$ scp -r hadoop-0.20.2 datanode2:/usr/java
编辑所有机器的conf/hadoop-env.sh,将JAVA_HOME设置各自jdk的安装目录
至此,hadoop已经在集群上配置完毕
相关文章推荐
- ubuntu10.04+hadoop0.20.2平台配置(完全分布式模式)
- ubuntu10.04+hadoop0.20.2平台配置(完全分布式模式)
- 【DAY2】hadoop 完全分布式模式配置的学习笔记
- 独立模式、伪分布模式、hbase和hadoop HA(高可用)完全分布式模式。集成配置
- hadoop完全分布式模式的安装和配置
- [Nutch]Hadoop多机完全分布式模式hadoop配置
- Hadoop完全分布式模式的安装和配置
- Ubuntu下伪分布式模式Hadoop的安装及配置
- ubuntu14.04配置hadoop完全分布式
- hadoop完全分布式配置+wordcount示例(ubuntu14.04+hadoop2.6.0)
- Ubuntu14安装配置Hadoop2.6.0(完全分布式)与 wordcount实例运行
- Hadoop完全分布式模式的配置与安装
- hive2.1.0+mysql5.1本地模式+Hadoop完全分布式集群的安装与配置
- Ubuntu 12.04 配置hadoop完全分布式
- 在Ubuntu环境下配置Hadoop伪分布式模式运行环境
- hadoop2.60+ubuntu14.04+vmare12+w10配置分布式。vmware桥接模式不可用该怎么办?
- Hadoop2.6.2完全分布式集群HA模式安装配置详解
- hadoop完全分布式模式的安装和配置
- Ubuntu14.04安装配置Hadoop2.6.0(完全分布式)与 wordcount实例运行
- hadoop完全分布式模式的安装和配置步骤