Hadoop伪分布式环境搭建（一）

Hadoop分布式环境搭建（一）

安装VMWare。本测试所用版本为VMware® Workstation 12 Pro。

下载地址http://www.vmware.com/go/tryworkstation-win-cn

在VMware上搭建虚拟机。本测试所用版本为CentOS7.2。

下载地址https://www.centos.org/download/

添加测试用户，并将其设置为管理员

添加用户添加用户添加用户添加用户添加用户

useradd hadoop

修改密码

passwd hadoop

获取root权限

vi /etc/sudoers

找到文件中

root ALL=(ALL) ALL

所在行,按下

o

在该行下面输入输入

hadoop  ALL=(ALL)   ALL

修改主机名

首先查看

/etc/hosts

的权限信息

ls -la /etc/hosts

若没有写权限可为当前用户添加写权限

sudo chmod 664 /etc/hosts

修改主机名

vi /etc/hosts

本测试使用了三台虚拟机,在末尾添加三行设置信息

172.16.58.128   Master
172.16.58.129   Slave1
172.16.58.130   Slave2

使用

ping

命令进行测试

ping Slave1

ping 能连通说明配置成功了

关闭防火墙（minimal跳过）

service iptables stop
​chkconfig iptables off  ## 关闭防火墙开机自动启动
​service ip6tables stop​
chkconfig ip6tables off  ##关闭防火墙开机自动启动

如果是Firewall防火墙(centOS7默认)

systemctl stop firewalld.service #停止firewall​
systemctl disable firewalld.service #禁止firewall开机启动

关闭Selinux(minimal跳过)

vi /etc/sysconfig/selinux

找到文件中的SELINUX一行，修改并保存

SELINUX=disabled

在命令行输入

setenforce 0   #关闭selinux防火墙getenforce   # 查看selinux的状态

显示Disabled说明设置成功

网络设置

本测试采用的动态分配IP

vi /etc/sysconfig/network-scripts/ifcfg-eno16777736

设置

ONBOOT=yes
BOOTPROTO=dhcp

保存后重启

service network restart

查看ip

ip addr

SSH免密码登录

首先生成密钥

ssh-keygen -t rsa

在~/.ssh/下会生成两个文件，使用scp命令将公钥发送到远程服务器，这样连接远程服务器时将不再需要输入密码

scp id_rsa.pub hadoop@Slave1:/home/hadoop/.ssh/authorized_keys_from_Master

在远程服务器上

cat authorized_keys_from_Master >>authorized_keys

测试

ssh Slave1

如果直接登录成功说明设置正确，需要为每一台Slave设置免登陆，使Master也就是NameNode可以免密码登录到任意一台dataNode。

安装JDK

参照http://blog.csdn.net/stsahana/article/details/52275785