SSH无密码登陆及Hadoop1.2.1环境搭建

参考“虾皮Hadoop”，非常感谢虾皮大哥！

 

#生成公钥/私钥

【1】$ssh-keygen –t rsa –P ''

【2】$cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

【3】$scp ~/.ssh/id_rsa.pub 远程用户名@远程服务器IP:~/

     注意事项：/etc/ssh/sshd_config修改配置，PasswordAuthentication验证为yes

【4】$cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

【5】ssh 远程服务器IP 验证是否成功。

JDK安装

对于.tar.gz格式的文件，linux对其进行安装、解压使用 tar -zxvf 命令

对于.bin格式的文件，linux对其进行安装、解压使用 ./ 命令

对于linux中的可执行文件，如果我们需要运行它，也是使用的 ./ 命令

配置环境变量/etc/profile

# set java environment

export JAVA_HOME=/usr/java/jdk1.6.0_31/

export JRE_HOME=/usr/java/jdk1.6.0_31/jre

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

使配置生效 source /etc/profile

安装Hadoop

cp /home/hadoop/hadoop-1.0.0.tar.gz /usr

cd /usr #进入"/usr"目录

tar –zxvf hadoop-1.0.0.tar.gz #解压"hadoop-1.0.0.tar.gz"安装包

mv hadoop-1.0.0 hadoop #将"hadoop-1.0.0"文件夹重命名"hadoop"

chown –R hadoop:hadoop hadoop #将文件夹"hadoop"读权限分配给hadoop用户

rm –rf hadoop-1.0.0.tar.gz                 #删除"hadoop-1.0.0.tar.gz"安装包

mkdir /usr/hadoop/tmp

/***注意权限#chown -R hadoop:hadoop /usr/hadoop/tmp***/

vim /etc/profile

# set hadoop path

export HADOOP_HOME=/usr/hadoop

export PATH=$PATH :$HADOOP_HOME/bin

使配置生效 source /etc/profile

配置Hadoop

【1】配置hadoop-env.sh

vim /usr/hadoop/conf/hadoop-env.sh

# set java environment

export JAVA_HOME=/usr/java/jdk1.6.0_31

【2】配置core-site.xml文件

<configuration>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/hadoop/tmp</value>

        （备注：请先在 /usr/hadoop 目录下建立 tmp 文件夹）

        <description>A base for other temporary directories.</description>

    </property>

<!-- file system properties -->

    <property>

        <name>fs.default.name</name>

        <value>hdfs://192.168.1.2:9000</value>

    </property>

</configuration>

【3】配置hdfs-site.xml文件

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

        (备注：replication 是数据副本数量，默认为3，salve少于3台就会报错)

    </property>

<configuration>

【4】配置mapred-site.xml文件

<configuration>

    <property>

        <name>mapred.job.tracker</name>

        <value>http://192.168.1.2:9001</value>

    </property>

</configuration>

【5】配置masters文件

vim /usr/hadoop/conf/masters

去掉localhost换成ip地址

192.168.1.2

【6】配置slaves文件（Master主机特有）

vim /usr/hadoop/conf/slaves

去掉localhost

加入所有slave机器的IP

【7】现在在Master机器上的Hadoop配置就结束了，剩下的就是配置Slave机器上的Hadoop。

第一种：分别安装

第二种：传送文件。scp -r /usr/hadoop root@服务器IP:/usr/

修改权限。chown -R hadoop:hadoop（用户名：用户组） hadoop（文件夹）

在"Slave1 .Hadoop"上修改"/etc/profile"文件（配置 java 环境变量的文件）

# set hadoop environment

export HADOOP_HOME=/usr/hadoop

export PATH=$PATH :$HADOOP_HOME/bin

/****命令无法执行********/

#echo $PATH

#export PATH=$PATH:

/usr/local/bin

:/usr/bin

:/bin

:/usr/local/sbin

:/usr/sbin

:/sbin

/***********************/

启动及验证

1）格式化HDFS文件系统

$hadoop namenode -format

2）启动hadoop

service iptables stop

$start-all.sh

3）验证hadoop

验证方法一：用"jps"命令

验证方式二：用"hadoop dfsadmin -report"