大数据分布式集群搭建（1）

在学习了几天的hadoop分布式集群搭建之后想写写文章记录一下一路以来遇到的困难和解决方案。

闲话不多说，进入正题。

一、环境及准备

因为只有一台电脑，所以需要用虚拟机来模拟环境。

本地机器用到软件：VMWare、SecureCRT

Linux上用到软件：CentOS6.7，jdk，mysql，tomcat，redis，zookeeper，hadoop，hbase，hive

对应版本如下：jdk-8u60-linux-x64.gz

apache-tomcat-7.0.63.tar.gz

MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar

redis-2.6.16.tar.gz

zookeeper-3.4.5.tar.gz

centos-6.5-hadoop-2.6.4.tar.gz

hbase-1.2.1-bin.tar.gz

apache-hive-1.2.1-bin.tar.gz

二、开始部署

准备好了上面提到的软件之后开始部署环境

我建立了一共4台虚拟机，hdp01，hdp02，hdp03，hdp04

用SecureCRT把它们都连接上



大数据集群需要一台master统领其余slaves，这里认定hdp01是master

Step1 ：挂载光驱

必须把虚拟机上的光驱挂载到linux目录上面才能使后面陆续开展的步骤顺利执行

挂载光驱先在/mnt目录下面建一个文件夹cdrom

mkdir /mnt/cdrom

之后执行：mount -t iso9660 -o ro /dev/cdrom /mnt/cdrom/ 将设备/dev/cdrom挂载到 挂载点 ： /mnt/cdrom中



对hdp1~4全都执行如上操作

全部挂载光驱完成之后开始下一任务

Step2：SSH免密登录

为了让机器之间相互登录无障碍我们配置免密登录，配置之前需要先将防火墙关掉

查看防火墙状态：service iptables status ①

关闭防火墙： service iptables stop ②

开启防火墙： service iptables start

直接执行②就好，也是要hdp1~4分别关闭



好了开始搞免密登录；

进入到 /etc/yum.repos.d/下面



红色箭头文件需要打开，其余的bak掉，打开media那个，更改路径与enable如下



保存文件，记得hdp1~4都要设置

之后开始配置SSH免密，首先安装ssh，通过yum源的方式

yum list|grep ssh

yum install 带有clients的那个文件复制下来

y确定



接下来

ssh-keygen 回车 回车 回车



vi /etc/hosts

配置映射关系如下，ip视机器而变



配置好了：wq保存退出 1~4同样

通过ssh-copy-id hdpxx 来配置映射 每台机器都要配置所有机器（xx代表数字01~04）

配置完成就可以用

ssh+机器名登录机器了

exit是退出

注：可以用配好的一个机器hdp01发文件给其他机器：

如发hosts文件给hdp02

scp /etc/hosts root@hdp02:/etc/

scp -r xxxxx root@hdp02:sdfx -r代表文件夹拷贝