hadoop-hdfs 伪分布式搭建

简介

本篇文章主要介绍的是hadoop伪分布式安装hdfs.

首先要确保 jdk 配置成功了 (如果不会可以参考这篇文章http://www.haha174.top/article/details/259178) 然后下载hadoop我使用的是 hadoop-2.6.0-cdh5.7.0.tar.gz版本

使用的环境是centos7 的虚拟机 如果不会搭建虚拟机可以参考这篇文章（http://www.haha174.top/article/details/255136）

安装

1.使用 tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz 解压压缩包

2.进入到 etc 目录的hadoop目录下配置启动信息 cd hadoop-2.6.0-cdh5.7.0/etc/hadoop

3. 给hadoop 配置java home vi hadoop-env.sh

export JAVA_HOME=/app/java/jdk1.8.0_121(这里改成自己的jdk 目录)

4. vi core-site.xml 配置hadoop

# 默认文件系统的地址
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop000:8020</value>
</property>
# hadoop  存储路径   不配置重启数据可能会消失
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/tmp</value>
</property>

vi vi hdfs-site.xml 配置hdfs 信息

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

因为是伪分布式的配置所有副本系数设置为1

6 vi slaves 配置节点 因为是伪分布式的配置 直接配置本机主机名即可

7 启动hdfs 初始化hdfs 进入到 sbin 目录下 使用命令 hdfs namenode -format

初始化完成后 使用命令 sh start-dfs.sh 启动hdfs

使用命令jps 查看 启动状态如果能看到 如下图那么恭喜你启动成功了


如果少了 可以查看相应的启动日志查看原因

文章地址：http://www.haha174.top/article/details/251072