Apache Hadoop 安装

Apache Hadoop 安装过程

tar -zxvf hadoop-2.7.0 -C ...

其中关键的文件夹为 bin sbin 和 etc

一、修改配置文件

1.1 vim Hadoop-env.sh

$JAVA_HOME的路径拷贝到export JAVA_HOME=...

1.2 vim core-site.xml

<property>
<!-- 指定namenode的地址 -->
<name>fs.defaultFS</name>
<value>hdfs://`hostname`:9000</value>

</property>

<property>
<!-- 用来指定Hadoop运行时产生文件的存放目录 -->
<name>hadoop.tmp.dir</name>
<value>$HADOOP_HOME/tmp</value>

</property>

1.3 vim hdfs-site.xml

<property>
<!-- 指定HDFS保存的数据副本的数目 -->
<name>dfs.replication</name>
<value>1</value>

</property>

1.4 mv mapred-site.xml.template  mapred-site.xml

    vim mapred-site.xml

<property>
<!-- 指定MR运行在YARN上 -->
<name>mapreduce.framework.name</name>
<value>yarn</value>

</property>

1.5 vim yarn-site.xml

<property>
<!-- Nodemanager获取数据的方式为shuffle -->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>

</property>

<property>
<!-- 指定YARN的领导的地址 -->
<name>yarn.resourcemanager.hostname</name>
<value>`hostname`</value>

</property>

二、配置Hadoop环境变量

2.1 vim /etc/profile

echo "export HADOOP_HOME=/..">>/etc/profile

echo "export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin"

source /etc/profile

三、格式化文件系统

#hadoop namenode -format(过时了)

#hdfs namenode -format

产生了tmp目录

四、启动Hadoop sbin中的脚步

./start-all.sh