Linux上的伪分布式hadoop安装

在Linux上安装hadoop

1)配置安装并配置JDK JDK下载路径 根据Linux系统的版本选择64位或32位下载，官方现提供rpm和tar.gz两种版本下载。

上传至linux 服务器并解压

tar -zxvf jdk-8u144-linux-x64.tar.gz

将解压好的JDK文件夹移动至 /usr/local/ 目录下
mv jdk1.8.0_144/ /user/local/
进入jdk目录中 使用命令 pwd 得到当前路径



复制路径，使用 vi 编辑器编辑 /etc/profie（需要切换成root用户 或有操作权限的用户）在末尾添加以下代码
JAVA_HOME=/usr/local/jdk1.8.0_144
PATH=$JAVA_HOME/bin:$PATH
保存退出 然后使该文件立即生效（source /etcprofile）
使用 java -version 查看是否安装成功，出现如下信息表示JDK安装成功

2)修改IP

1.通过
ifconfig 命令查看Linux服务器ip地址



2.vi /etc/sysconfig/network-scripts/ifcfg-ens33 编辑这个文件
(设置静态ip,之后重启Linux 保证ip不变,在不变的网络环境下)，在文件末尾加上
IPADDR="192.168.1.166"(这里的值为IP地址)

NETMASK="255.255.255.0"

GATEWAY="192.168.1.1"

3)修改主机名和IP的映射关系

使用 vi /etc/hosts 在文件末尾加上

192.168.1.166 hadoop
(前面为IP地址,后面为自定义主机名,可以通过主机名连接Linux)
使用
vi /etc/hostname 将文件中的localhost更改为 hadoop(自定义主机名,与hosts文件中的主机名一致)
保存重启Linux生效(曾因未重启导致耗费大量时间)

3) 安装hadoop

官方Hadoop下载 百度云下载(密码:z3qq)
下载后解压到 /user/local/ 目录下 : tar -zxvf hadoop-2.4.1.tar.gz -C /usr/local/
解压完成后进入 hadoop 的etc配置目录中
/usr/local/hadoop-2.4.1/etc/hadoop

4) 配置hadoop

1.hadoop-env.sh
更改 第27行默认的JAVA_HOME,修改为java安装的真实路径,我采用注释重新添加的方式



2.core-site.xml

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.4.1/tmp</value>
</property>

3.hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>






4.mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
5.yarn-site.xml
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
5.设置hadoop环境变量.  在/etc/profile 文件中加入



保存后
source /etc/profile
6.[b]为hadoop集群运维账户配置ssh免密码登录[/b]

ssh-keygen -t rsa
ssh-copy-id-i ~/.ssh/id_rsa.hadoop@hadoop
7.格式化namenode（是对namenode进行初始化）
hdfs namenode -format (hadoop namenode -format)
4）启动hadoop
1.使用
start-dfs.sh 若command not found 则hadoop环境变量未配置成功

2.使用jps命令查看java进程，若如下所示，则hadoop伪分布式集群配置成功