hadoop2.4安装部署——亲手测试通过


机器与环境 192.168.100.150 redhat，jdk 1.6.0_30

1、linux rh 下安装hadoop

1）下载：http://mirror.esocc.com/apache/hadoop/common/current/hadoop-2.4.0.tar.gz

2）进入/home/kris/ 解压文件到当前目录：tar xzvf hadoop-2.4.0.tar.gz -C ./

3）配制环境变量（由于之前已经安装了jdk1.6.0_30）,这里只配制hadoop变量

export HADOOP_PREFIX=/home/kris/hadoop-2.4.0

export PATH=$JAVA_HOME:$JAVA_HOME/bin:$HADOOP_PREFIX?BIN:$PATH

export HADOOP_PREFIX PATH CLASSPATH

4）进入hadoop2.4.0文件夹，配置etc/hadoop中的文件,添加：

export JAVA_HOME=/usr/java/jdk1.6.0

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"

5）配制core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/kris/hadoop-2.4.0/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/wbq/hadoop-2.4.0/dfs/data</value>

</property>

</configuration>

6）配制hdfs-site.xml，

<configuration>

<property>

<name>dfs.replication</name>

<!--系统默认文件保存3份，因伪分布模式，故改为1份-->

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/home/kris/hadoop-2.4.0/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/home/kris/hadoop-2.4.0/dfs/data</value>

</property>

</configuration>

7）配制mapred-site.xml

<configuration>

<property>

<name>mapreduce.jobtracker.address</name>

<value>localhost:9001</value>

</property>

</configuration>

8）配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

9）ssh免密码登陆设置。--ssh链接是需要密码认证的，可以通过添加系统认证（即公钥-私钥）的修改，修改后系统间切换可以避免密码输入和ssh认证。

1- 修改文件：vi /etc/ssh/sshd_config

RSAAuthentication yes 开启RSA加密方式

PubkeyAuthentication yes 开启公钥认证

AuthorizedKeysFile .ssh/authorized_keys 公钥存放位置

PasswordAuthentication no 拒绝使用密码登录

GSSAPIAuthentication no 防止登录慢，以及报错问题

ClientAliveInterval 300 300秒超时自动退出

ClientAliveCountMax 10 允许SSH远程连接的最大数

在root根目录下，ssh-keygen -t rsa -P '' 回车，然后输入密码，即可完成ssh协议下的安全通信。

2、运行hadoop

1）到hadoop2.4.0目录下./bin/hadoop namenode –format格式化结点信息

2）sbin/start-all.sh

3）浏览器下http://localhost:50070 查看hdfs的页面

4）http://localhost:8088 hadoop进程管理页面