《hadoop权威教程》学习记录_01环境

1 学习记录_《hadoop权威教程》_01环境

1.1 规划和版本

使用本地硬件模拟一个6台节点的集群。

规划环境

VMware Workstation 11.1.4

6台虚拟机

CentOS-7-x86_64-Everything-1511.iso

jdk1.7.0_80_x64

hadoop-2.7.3

为真实模拟生产环境，集群不联外网

1.1.1 虚拟机设定

1.1.1.1 网络设定

设置虚拟机网络模式为主机模式（host-only）



查看到VMnet1的子网IP



查看本机的VMnet1的IP，将VMnet1改为静态IP

cd /etc/sysconfig/network-scripts
vi ifcfg-eno16777736    //centos7的配置比较特殊

修改IP配置项目

BOOTPROTO=no    //dhcp设置
ONBOOT=yes
IPADDR=192.168.44.101   //规划的本机IP
GATEWAY=192.168.44.1    //宿主机的VMnet1地址

关闭centos防火墙

systemctl stop firewalld.service //停止firewall
systemctl disable firewalld.service //禁止firewall开机启动
//centos7的防火墙不是iptables

ping测试

hostnamectl status  //centos7使用hostnamectl工具来控制主机名
hostnamectl set-hostname "server01"     //分别设置主机名
vi /etc/hosts   //设置局域网DNS
192.168.44.101  server01
192.168.44.102  server02
192.168.44.103  server03
192.168.44.104  server04
192.168.44.105  server05
192.168.44.106  server06

1.1.1.2 用户配置

创建用户组/用户/设置密码

groupadd hadoops
useradd -g hadoops hadoop
passwd hadoop
//密码设置为hadoophadoop 后续的操作尽量用hadoop避免使用root用户

1.1.1.3 SSH免密码设置

使用RSA对称加密达到免密码SSH，每个节点分别生成一对密钥，并且分别维护一个信任列表，以A→B为例

第1步：A主机，定位到

/home/hadoop

ssh-keygen -t rsa -f ~/.ssh/id_rsa //会在.ssh下生成id_rsa、id_rsa.pub两个文件
cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys

第2步：B主机，创建

/home/hadoop/.ssh/authorized_keys

，保存信任列表，通常情况是直接用A分发公钥

scp /home/hadoop/.ssh/id_rsa.pub hadoop@server02:/home/hadoop/.ssh/authorized_keys
//执行的时候会要求输入密钥 建议输入hadoop

第3步：集群中的主机两两配置，可以先统一生成公钥，而后保存到一个文件里再分发。

第4步：修改文件权限

chmod 700 /home/.ssh
cd /home/.ssh
chmod 600 *
//权限设置没有找到有说服力的原因，不能太高也不能太低

第5步：保存密钥

ssh-agent bash  //如ssh-add报错Could not open a connection to your authentication agent.就先执行该命令
ssh-add