学习安装单机版Hadoop记录

首先下载hadoop到~

wget -O hadoop.tar.gz https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

下载JAVA到~

wget -O java8.tar.gz http://download.oracle.com/otn-pub/java/jdk/8u101-b13/jdk-8u101-linux-x64.tar.gz?AuthParam=1473780576_cc17f9769e57801c98a21c34f477cf87

地址过期需要从下边页面自己同意授权下载才行
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
解压

sudo tar -zxvf java8.tar.gz -C /usr/local/

sudo mv /usr/local/jdk1.8.0_101 /usr/local/java

设置java配置

进入 /etc

cd /etc

打开profile文件

sudo vi /usr/profile

打开后，将光标移动到文件最下方，然后按 i 键进入编辑模式

在最后写入下边三行内容

export JAVA_HOME=/usr/local/java
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

写入之后点击esc退出编辑模式

输入 :wq 进行保存并退出。

重新生效profike配置 

source /etc/profile

查看java版本

java -version

看到下边内容就成功了

java version "1.8.0_101"

SE Runtime Environment (build 1.8.0_101-b13)

Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)

接下来开始安装hadoop

解压hadoop

sudo tar -zxvf hadoop.tar.gz -C /home/user/program/

cd /home/user/program/

sudo mv hadoop-2.7.3/* /home/user/program/hadoop/

sudo rmdir hadoop-2.7.3

配置Hadoop开始 

网上的配置参数说明文档 

sudo vi /etc/profile

添加环境变量

export HADOOP_HOME=/home/user/program/hadoop

修改

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$PATH

重新生效profike配置 
source /etc/profile

进入hadoop目录

cd $HADOOP_HOME

创建 tmp, hdfs, hdfs/data, hdfs/name目录

sudo mkdir tmp

sudo mkdir hdfs

sudo mkdir hdfs/data

sudo mkdir hdfs/name

cd etc 

cd hadoop

ls



修改 core-site.xml，在configuration标签内加上property的所有内容

 

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/Users/wangsijun/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<description>The name of the default file system.  A URI whose
scheme and authority determine the FileSystem implementation.  The
uri's scheme determines the config property (fs.SCHEME.impl) naming
the FileSystem implementation class.  The uri's authority is used to
determine the host, port, etc. for a filesystem.</description>
</property>
</configuration>

修改hdfs-site.xml，加上

 

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.http.address</name>
<value>localhost:50070</value>
</property>
<property>
<name>dfs.datanode.address</name>
<value>localhost:50010</value>
</property>
<property>
<name>dfs.datanode.ipc.address</name>
<value>localhost:50020</value>
</property>
<property>
<name>dfs.datanode.http.address</name>
<value>localhost:50075</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>localhost:50090</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/Users/wangsijun/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/Users/wangsijun/hadoop/tmp/dfs/data</value>
</property>
</configuration>

 

修改mapred-site.xml.template，加上

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>job</name>
<value>localhost:50030</value>
</property>
<property>
<name>mapred.task.tracker.http.address</name>
<value>localhost:50060</value>
</property>
</configuration>

修改yarn-site.xml，加上（集群配置需要这个配置）

配置/home/user/program/hadoop/etc/hadoop下的hadoop-env.sh，yarn-env.sh的JAVA_HOME

export JAVA_HOME=/usr/local/java

配置/home/user/program/hadoop/etc/hadoop目录下slaves(集群配置项，单机可忽略)

加上你的从服务器

配置成功后，将hadhoop复制到各个从服务器上

 

scp -r /home/user/program/hadoop root@xxxx:/home/user/program/

主服务器上执行bin/hdfs namenode -format

进行初始化

 

sbin目录下执行 ./start-all.sh 

可以使用jps查看信息

 

 

停止的话，输入命令，sbin/stop-all.sh

这时可以浏览器打开xxxx:50070查看集群信息啦

到此配置就成功啦，开始你的大数据旅程吧。。。

ubuntu vi 打开文件出现键盘上下键混乱的，可以使用vim 安装命令：apt-get install vim

有时运行会提示错误，22端口未打开 使用 nc -lp 22 &(打开22端口) netstat -an | grep 22 (查看是否打开了22端口)