本地Hadoop学习环境搭建（win10 Linux子系统）

本文主要参考了慕课网中《Hadoop大数据平台架构与实践–基础篇》，并根据自己的情况改变了Linux环境，将配置过程记录下来，方便自己以后回顾O(∩_∩)O哈哈~

在win10系统中建立linux子系统

这里就不重复了，可以参考以下网址，非常全面http://www.jianshu.com/p/bc38ed12da1d

基本配置完成后（不用像文章中那样完全搞定，装完Linux，装上ssh就行），为了让自己熟悉远程管理Linux，在win10下打开子系统，然后用Xshell连接子系统

JDK安装

$ sudo apt-get install openjdk-8-jdk

配置环境变量

$ sudo vim /etc/profile
#进入文件后添加，JAVA_HOME可能会有所不同，这里采用了默认安装
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/lib:$JRE_HOME/lib:$PATH
#使配置文件生效
$ source /etc/profile

Hadoop安装配置

官方中文配置说明http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html#%E8%BF%90%E8%A1%8CHadoop%E9%9B%86%E7%BE%A4%E7%9A%84%E5%87%86%E5%A4%87%E5%B7%A5%E4%BD%9C

推荐使用国内的镜像下载Hadoop

$ sudo wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz[/code] 
#下载完成后移动压缩包至/opt/下
$ mv hadoop-2.7.3.tar.gz /opt/
#解压缩
$ sudo tar -zxvf hadoop-2.7.3.tar.gz
#修改配置
$ cd /opt/hadoop-2.7.3/etc/hadoop


有四个文件需要配置

hadoop-env.sh

$ sudo vim hadoop-env.sh
#修改其中JAVA_HOME使得与之前配置的JDK一致


core-site.xml

$ sudo vim core-site.xml
#进入后修改成这样
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/winxblast/hadoop</value>
</property>

<property>
<name>dfs.name.dir</name>
<value>/home/winxblast/hadoop/name</value>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>


hdfs-site.xml

$ sudo vim hdfs-site.xml
<configuration>
<property>
<!--the directory to save data存放数据文件的目录配置-->
<name>dfs.data.dir</name>
<value>/home/winxblast/hadoop/data</value>
</property>
</configuration>


mapred-site.xml

#配置任务调用器该如何访问,其中9001之前的是自己的主机名
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>


再次修改环境变量，千万不要少了一点东西，比如path最后的“：”，不然就找不到hadoop命令了！！

#进入profile
$ sudo vim /etc/profile
#修改为以下状态
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop-2.7.3
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
#退出后使之生效
$ source /etc/profile


测试hadoop

#直接输入hadoop
$ hadoop
#会有一些关于程序的提示，就ok了


对namenode进行格式化

$ hadoop namenode -format


在/opt/hadoop-2.7.3目录下执行，试验时发现进入sbin目录运行start-all.sh会有不少错误···还是乖乖仔外面运行吧，要是第一次运行失败，可能会有很多hadoop进程运行着，要先stop-all.sh，再start-all.sh

执行之前最好sudo su提升权限

$ ./sbin/start-all.sh


最后

$ jsp
#显示以下内容就对了，数字可以不一样
9714 ResourceManager
9860 NodeManager
9928 Jps
9178 NameNode
9534 SecondaryNameNode