Hadoop学习第一天

Hadoop配置集群

第一步 安装软件模拟服务器集群

安装virtualbox

安装纯净的linux系统

第二步 配置模拟服务器通讯

配置linux ipv4地址

virtualbox 网络选择仅主机host-only网络

当安装完virtualbox后，只有ipv6的地址，但是要通信要用ipv4，所以要配置ipv4，安装完，电脑会有一个模拟网卡，默认ip地址是192.168.56.1，所以只要子机是192.168.56.xxx就能通信。

在linux中配置ipv4地址和网关

打命令: vim /etc/sysconfig/network-scripts/ifcfg-enp0s3

先删除文件中的内容

然后增加IPADDR=192.168.56.100

NETMASK=255.255.255.0

再配置网关

vim /etc/sysconfig/network

NETWORKING=yes

GATEWAY=192.168.56.1//主机的模拟网卡地址

设置主机名:hostnamectl set-hostname master

最后重启：systemctl restart net

ping 不同要关闭主机和子机的防火墙

linux关闭防火墙

设置主机的本地连接地址为192.168.56.x

然后ping虚拟网卡ip，ping通后就完成

在linux中配置hadoop

下载jdk linux版和hadoop

转送到linux /usr/local中，安装jdk和解压hadoop

安装Jdk命令:rpm -ivh jdk-8u151-linux-i586.rpm

解压命令:tar -xvf hadoop-2.7.4.tar.gz

修改 hadoop-env.sh中的java路径

向profile插入一下内容

vim /etc/profile

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

执行命令 source /etc/profile

最后复制对台子服务器并且更改子服务器的ip和hostname

关闭防火墙 systemctl stop firewalld

重启不启动防火墙 systemctl disable firewalld

启动hadoop步骤

一、向配置文件中插入以下信息

目录 /usr/local/hadoop/etc/hadoop

vim core-site.xml

插入

fs.defaultFS

hdfs://master(主机名):9000

二、启动hadoop

vim /etc/hosts

加入master和slave的ip和机器名

执行命令: hdfs namenode -format

然后master启动

hadoop-daemon.sh start namenode

slave

hadoop-daemon.sh start datanode