hadoop 伪分布式搭建

hadoop 伪分布式搭建

$ vi /etc/profile

#JAVA_HOME
export JAVA_HOEM=/opt/modules/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOEM/bin

rm -rf doc/

修改  hadoop-env.sh  mapred  yarn 这三个配置文件
export JAVA_HOME=/opt/modules/jdk1.7.0_67

配置完毕之后 使用 修改完毕之后 使用 bin/hadoop 查看是否生效

1 配置 core-site.xml
<!-- 指定文件系统及namenode所在机器端口 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1.zx.com:8020</value>
</property>

<!-- 指定临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value></value>
</property>
2 配置 hdfs-site.xml
<!-- 副本数 默认为3 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
3 配置 slaves
指定从节点位置  slaves 包括datanode和nodemanager
4 格式化namenode，对于元数据进行初始化，否则无法读取元数据
bin/hdfs namenode -formart
当初始化完毕之后，会在tmp目录下面生成元数据文件，
当hadoop启动的时候，会加载元文件中的fsimage_0000000000000000000
5 启动hadoop
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
HDFS外部管理界面端口号默认：50070

1.配置    mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
2.配置  yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
3.启动 yarn
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
yarn外部管理界面端口号默认：8088