hadoop2.2.0伪分布搭建

1.准备Linux环境

　　1.0配置Linux的ip与本机ip地址在同一个网端上，比如，本机ip地址为192.168.1.102,VM中的linux的ip配置为192.168.1.88，子网掩码与网关相同。

　　1.1修改主机名

　　vim /etc/sysconfig/network

　　NETWORKING=yes

　　HOSTNAME=hadoop01

　　1.2修改IP

　　vim /etc/sysconfig/network-scripts/ifcfg-eth0

　　

　　DEVICE="eth0"

　　BOOTPROTO="static"　　###

　　HWADDR="00:0C:29:3C:BF:E7"

　　IPV6INIT="yes"

　　NM_CONTROLLED="yes"

　　ONBOOT="yes"

　　TYPE="Ethernet"

　　UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"

　　IPADDR="192.168.1.88"　　###

　　NETMASK="255.255.255.0"　　###

　　GATEWAY="192.168.1.1"　　###

1.3修改主机名和ip的映射关系

vim /etc/hosts

192.168.1.88 hadoop01

1.4关闭防火墙（可关可不关）

查看防火墙状态

service iptables status

关闭防火墙

service iptables stop

查看防火墙开机启动状态

chkconfig iptables --list

关闭防火墙开机启动

chkconfig iptables off

1.5重启linux

reboot

2.安装JDK

2.1上传

2.2解压jdk

#创建文件夹

mkdir /usr/java

#解压

tar -zxvf　　jdk-7u55-linux-i586.tar.gz　　-C　　/usr/java/

2.3将java添加到环境变量中

vim /etc/profile

#在文件最后添加

export　　JAVA_HOME=/usr/java/jdk1.7.0_55

export　　PATH=$PATH:$JAVA_HOME/bin

#刷新配置

source　　/etc/profile

现在开始安装hadoop

3.安装Hadoop

3.1上传hadoop安装包

3.2解压hadoop安装包

#以后有关云平台的所有项目都放在这个目录下

mkdir　　/cloud

#解压到/cloud/目录下

tar -zxvf hadoop-2.2.0.tar.gz -C /cloud/

3.3修改配置文件（伪分布式5个）

第一个：hadoop-env.sh

#修改其JAVA环境变量

export JAVA_HOME=/usr/java/jdk1.7.0_55

第二个：core-site.xml

<configuration>

　　<!--指定HDFS老大（namenode）的通信地址-->

　　<property>

　　　　<name>fs.defaultFS</name>

　　　　<value>hdfs://hadoop01:9000</value>

　　</property>

　　<!--指定hadoop运行时产生文件的存储路径-->

　　<property>

　　　　<name>hadoop.tmp.dir</name>

　　　　<value>/cloud/hadoop-2.2.0/tmp</value>

　　</property>

</configuration>

第三个：hdfs-site.xml

<configuration>

　　<!--设置hdfs副本数量-->

　　<property>

　　　　<name>dfs.replication</name>

　　　　<value>1</value>

　　</property>

</configuration>

第四个：mapred-site.xml.template需要重命名：

mv mapred-site.xml.template mapred-site.xml

<configuration>

　　<!--通知框架MR使用YARN-->

　　<name>mapreduce.framework.name</name>

　　<value>yarn</value>

</configuration>

第五个：yarn-site.xml

<configuration>

　　<!--reducer取数据的方式是mapreduce_shuffle-->

　　<property>

　　　　<name>yarn.nodemanager.aux-services</name>

　　　　<value>mapreduce_shuffle</value>

　　</property>

</configuration>

3.4将hadoop添加到环境变量

　　vim /etc/profile

　　export JAVA_HOME=/usr/java/jdk1.7.0_55

　　export HADOOP_HOME=/cloud/hadoop-2.2.0

　　export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

　#更新配置

　　source　　/etc/profile

3.5格式化HDFS(namenode)第一次使用时要格式化

hadoop namenode -format

3.6启动hadoop

先启动HDFS

sbin/start-dfs.sh

再启动YRAN

sbin/start-yarn.sh

3.7验证是否启动成功

使用jps命令验证

NameNode 进程
Jps

SecondaryNameNode

NodeManager

ResourceManager

DataNode
http://192.168.1.88:50070(HDFS管理界面)
在这个文件中添加linux主机名和ip地址的映射关系

c:\Window\Systen32\drivers\etc\hosts

192.168.1.88 hadoop01
http://192.168.1.88:8088(MR管理界面)
4.配置ssh免登录

生成ssh免登录密钥

cd ~,进入到我的home目录

cd .ssh/

ssh-keygen -t rsa 　　(四个回车)

执行完这个命令后，会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)

将公钥拷贝到要免登录的机器上

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

或

ssh-copy-id -i localhost

先拷贝一份给自己