Hadoop伪分布模式安装学习笔记

伪分布模式安装步骤概述：

伪分布模式安装详细步骤：

1.设置静态ip
在centos桌面右上角的图标上，右键修改。
执行命令 service network restart 重启网卡
验证：执行命令 ifconfig

2.修改主机名
修改当前会话中的主机名，执行命令hostname hadoop
修改配置中文件中的主机名, vi /etc/sysconfig/network
验证：重启机器 reboot

3.把hostname和ip绑定
执行命令 vi /etc/hosts 增加一行内容,如下
192.168.80.100 hadoop
保存退出
验证：ping hadoop

4.关闭防火墙
执行命令： service iptables stop
验证：service iptables status

5.关闭防火墙自动运行
执行命令：chkconfig iptables off
验证：chkconfig --list | grep iptables

6.SSH(secure shell)的免密码登录
<1>执行命令 ssh-keygen -t rsa 产生秘钥,位于~/.ssh文件夹中
<2>执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证：ssh localhost

7.安装JDK
<1>执行命令 rm -rf /usr/local/* 删除所有内容
<2>使用工具winscp把jdk文件从windows复制到/usr/local目录下
<3>执行命令 chmod u+x jdk-6u24-linux-i586.bin 赋予执行权限
<4>执行命令 ./jdk-6u24-linux-i586.bin 解压缩
<5>执行命令 mv jdk1.6.0_24 jdk 重命名
<6>执行命令 vi /etc/profile 设置环境变量
增加了2行内容
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
保存退出
执行命令 source /etc/profile 让该设置立即生效
验证：执行 java -version

8.安装Hadoop
<1>执行命令 tar -zxvf hadoop-1.1.2.tar.gz 进行解压缩
<2>执行命令 mv hadoop-1.1.2 hadoop 重命名
<3>执行命令 vi /etc/profile 设置环境变量
增加了一行内容
export HADOOP_HOME=/usr/local/hadoop
修改了一行内容
export PATH=.:%HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
保存退出
执行命令 source /etc/profile 让该设置立即生效
<4>修改hadoop的配置文件，位于$HADOOP_HOME/conf目录下
修改4个配置文件，分别是hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
1.hadoop-env.sh的第9行
export JAVA_HOME=/usr/local/jdk/

2.core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>

4000
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>

3.hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

4.mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value>
<description>change your own hostname</description>
</property>
</configuration>
<5>执行命令 hadoop namenode -format 对Hadoop执行格式化 HDFS

<6>执行命令 start-all.sh 启动hadoop
验证：
(1)执行命令 jps查看是否有5个Java进程,分别NameNode,DataNode,SecondaryNode,JobTracker,TaskTracker.
(2)通过浏览器 http://hadoop:50070    可以看到界面,说明NameNode的进程是活的,NameNode本身是一个webserver http://hadoop:50030 可以看到界面,说明JobTracker的进程是活的,JobTracker本身是一个webserver
**可以修改windows下C:\Windows\System32\drivers\etc\hosts文件,在windows通过上述ip访问.**

<7>NameNode进程没有启动成功的原因?
(1)没有格式化
(2)配置文件只copy,不修改
(3)hostname与ip没有绑定

<8>多次格式化hadoop也是错误的？
方法：删除/usr/local/hadoop/tmp文件夹，重新格式化