2.环境搭建-CentOS集群搭建

目录

目录

实验环境

创建虚拟机

安装CentOS

设置ip
获取动态ip

设置静态ip

配置hosts

使用Xshell连接虚拟机

关闭防火墙

安装jdk

安装三节点虚拟机

配置集群Ssh免密码登陆

本文主要介绍在 Windows 宿主机上使用 VirtualBox 搭建三节点 CentOS 集群实验环境。

实验环境

Windows 宿主机：Windows 10 企业版

VirtualBox 版本：VirtualBox 5.1.10

CentOS 版本：CentOS 6.4

Xshell 版本：Xshell 5

*本实验项目所需软件均可在百度网盘链接：http://pan.baidu.com/s/1dFeNR6h 密码：1zx4 中获取。

创建虚拟机

使用VirtualBox创建三台CentOS作为项目实验集群。



点击“新建”按钮开始创建虚拟机。



填写虚拟机名称，选择类型为“Linux”，版本为“Red Hat（32-bit）”



内存根据自己实际情况，尽可能选择大些。







选择目录和磁盘大小，目录位置后续会占用大量磁盘空间，根据自己磁盘实际情况选择。

虚拟硬盘大小数值尽量设置大些，避免后续虚拟硬盘不足情况，实际占用本地硬盘会根据实际数量进行分配。



创建好虚拟机后在“设置”中设置“网络”连接方式为“桥接网卡”，并且在“界面名称”中根据实际使用的网卡进行选择（一般会自动匹配）。



在“存储”中选择磁盘镜像

安装CentOS

点击“启动”按钮，开始安装CentOS





选择“skip”













选择“yes，discard any data”



设置hostname



选择shanghai时区



设置root密码



如果密码较弱会弹出“Weak Password”提示，选择“Use Anyway”





选择“Write change to disk”





点击“Reboot”重启系统。



使用root用户和root密码登陆

设置ip

获取动态ip

vi /etc/sysconfig/network-script/ifcfg-eth0

DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=dhcp

service network restart

此时查看ip

ifconfig

设置静态ip

vi /etc/sysconfig/network-script/ifcfg-eth0

DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.102
NETMASK=255.255.255.0
GATEWAY=192.168.1.1

IPADDR为之前动态ip分配的，GATEWAY根据自己情况填写

重启网卡

service network restart

测试网络

配置hosts

vi /etc/hosts

配置宿主机（Windows主机）上的hosts

在C:\Windows\System32\drivers\etc\hosts文件末尾添加

#sparkproject
192.168.1.102 sparkproject1

使用Xshell连接虚拟机

可选择“记住用户名”和“记住密码”选项，以后可以直接登陆

关闭防火墙

service iptables stop
service ip6tables stop
service iptables status
service ip6tables status

chkconfig iptables off
chkconfig ip6tablesoff

修改配置文件

vi /etc/selinux/config

SELINUX=disabled

安装jdk

删除

/usr/local/

目录下的所有文件



安装lrzsz传输工具

yum install lrzsz

传输jdk文件到

/usr/local

目录下

rz

安装jdk

rpm -ivh jdk-7u65-linux-i586.rpm

配置jdk相关的环境变量

vi ~/.bashrc

export JAVA_HOME=/usr/java/latest
export PATH=$PATH:$JAVA_HOME/bin

使配置生效

source ~/.bashrc

测试jdk安装是否成功

java -version

删除网络配置文件

rm -f /etc/udev/rules.d/70-persistent-net.rules

安装三节点虚拟机

克隆或相同的方式再安装两台一模一样的虚拟机，hostname分别设置为sparkproject2和sparkproject3。

为避免出错，而且只是三节点，没有使用克隆，而是手动安装。

配置集群Ssh免密码登陆

在各节点hosts中添加三台虚拟机的ip



Ping测试，三个节点能相互ping通



在三台机器上配置对本机的ssh免密码登录

ssh-keygen -t rsa

生成本机的公钥，过程中不断敲回车即可



将公钥复制为authorized_keys文件，此时使用ssh连接本机就不需要输入密码了

cd /root/.ssh
cp id_rsa.pub authorized_keys

其他三个节点同样执行上述操作

配置三台机器互相之间的ssh免密码登录

ssh-copy-id -i sparkproject2

提示输入密码时输入相应节点的密码



测试，无需输入密码能够登陆成功即为设置成功



然后在各节点上执行相应的操作



至此，三节点CentOS集群即搭建成功，后续会此基础上安装hadoop、zookeepr、kafka、flume和spak等集群。