Hadoop-2.5.1伪分布安装

安装环境

      Linux版本：ubuntu-15.04-desktop-amd64.iso（64位）
      Hadoop版本：hadoop-2.5.1.tar.gz
      JDK版本：jdk-8u31-linux-x64.tar.gz

SSH免密码登录设置

      Ubuntu缺省安装了openssh-client，如果没有安装的话，再用apt-get安装上即可。
      安装ssh-server

sudo apt-get install openssh-server

      安装ssh-client

sudo apt-get install openssh-client

      确认sshserver是否安装好

ps -e | grep sshd

     如果看到sshd那说明ssh-server已经启动了。 
      如果只有ssh-agent说明ssh-server还没有启动，需要执行命令启动ssh服务：

/etc/init.d/ssh start

      配置免密码登录：
---产生密钥 

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

---重定向

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

---验证：

ssh localhost

配置环境

      配置JDK与Hadoop。

      设置环境变量，进入当前用户名的主文件夹，修改.profile文件。注意，该文件是当前用户的配置文件，如果要对使用计算机的所有用户生效，那么需要设置的文件应该是 /etc/profile。

$sudo gedit /etc/profile

      在末尾加上:

#设置jdk的安装路径
export JAVA_HOME=/data/java/jdk1.8.0_31
export JRE_HOME=/data/java/jdk1.8.0_31/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

#设置的hadoop的环境变量
export HADOOP_HOME=/data/hadoop/hadoop-2.5.1
export PATH=$HADOOP_HOME/bin:$PATH
export CLASSPATH=$HADOOP_HOME/lib:$CLASSPATH

     让修改过的profile马上生效

$ source  /etc/profile

修改hadoop配置文件 hadoop-2.5.1/etc/hadoop

1.hadoop-env.sh

export JAVA_HOME=/data/java/jdk1.8.0_31

2. yarn-env.sh

export JAVA_HOME=/data/java/jdk1.8.0_31

3.core-site.xml   

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/hadoop/tmp/hadoop-${user.name}</value>
</property>
</configuration>

4.hdfs-site.xml  

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/data/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>file:/data/hadoop/dfs/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>为了防止后面eclipse存在拒绝读写而设置</description>
</property>
</configuration>

5.mapred-site.xml       

     默认情况下，/usr/local/hadoop/etc/hadoop/文件夹下有mapred.xml.template文件，要复制该文件，并命名为mapred.xml，该文件用于指定MapReduce使用的框架。

<configuration>
<property>
<name>mapreduce.jobtracker.address</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration></span>

6.yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration></span>

格式化HDFS(只需要一次)

$ hadoop namenode –format

     成功的话，最后的提示如下，Exitting with status 0 表示成功，Exitting with status 1: 则是出错。千万注意，别用bin/hadoop namenode –format。

启动、停止服务

启动：

$ sbin/start-dfs.sh
$ sbin/start-yarn.sh </span>

停止：

$ sbin/stop-dfs.sh
$ sbin/stop-yarn.sh</span>

验证

查看一下开启的进程：# jps  

6513 NameNode
6964 ResourceManager
7301 Jps
7081 NodeManager
6827 SecondaryNameNode
6655 DataNode</span>

（现在的ResourceManager和NodeManager代替了原来的JobTracker和TaskTracker）

或通过浏览器访问：
http://127.0.0.1:50070/ http://127.0.0.1:9000/
如需修改host文件：

$   gedit /etc/hosts

$   /etc/init.d/networking restart