hadoop1.2.1伪分布模式配置

创建时间： 2016/3/1 10:13

更新时间： 2016/3/1 10:14

配置java环境变量和hadoop

HADOOP_INSTALL=/opt/hadoop-1.2.0/
JAVA_HOME=/usr/lib/jvm/java-8-oracle/jre
export CLASSPATH=.:${JAVA_HOME}/lib
export PATH=${JAVA_HOME}/bin:$HADOOP_INSTALL/bin:$PATH

配置hadoop-env.sh:

首先我们用vi hadoop-env.sh命令编辑打开hadoop-env.sh文件，找到JAVA_HOME关键字所在的行，把前面的#号去掉，然后填写实际的JAVA_HOME地址：

export  JAVA_HOME=/usr/lib/jvm/java-8-oracle/jre

1、修改core-site.xml，配置hdfs

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://139.129.42.119:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/lei/tmp</value>
</property>

</configuration>

2、修改hdfs-site.xml，配置数据备份

<configuration>
<property>

<name>dfs.data.dir</name>

<value>/home/lei/appdata/hadoopdata</value>

</property>

<!--配置HDFS存储目录,数据存放目录,用于datanode存放数据-->

<property>

<name>dfs.name.dir</name>

<value>/home/lei/appdata/hadoopname</value>

</property>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

3、修改mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

4、配置ssh

注：因为伪分布模式下，即使所有节点都在一台机器上，hadoop也需要通过ssh登录，这一步的目的是配置本机无密码ssh登录

命令行：ssh-keygen -t rsa

然后一路回车

cd ~/.ssh

cat id_rsa.pub>>authorized.keys

测试：ssh localhost

首次运行会提示是否继续，输入yes，回车，如果不要求输入密码，就表示成功了