spark 1.3.1以上的集群搭建流程

1.Ubuntu14.04的安装，以三台电脑为安装流程

【步骤1】Ubuntu每台电脑都设置root用户登录，用root登录进行接下来操作

【步骤2】设置电脑的IP地址，三台电脑的IP地址在同一个网段中

这里以下为例

【172.168.200.100】

【172.168.200.101】

【172.168.200.102】

注：此时，三台电脑互相ping，应该是可以ping通的

【步骤3】ssh的三台电脑相互登录

1.设置每台电脑的hosts，将每台电脑的hosts都设置成相同

gedit /etc/hostname

172.168.200.100 master
172.168.200.100 slave1
172.168.200.100 slave2

网上都有各种设置ssh无密码登录，选择一个设置好ssh登录。

验证是否能通

ssh master

ssh slave1

ssh slave2

能正常ssh通，就可以基础环境搞定

【步骤4】 jdk的环境，hadoop的环境，scale的环境，spark的环境

gedit ~/.bashrc

推荐一次性设置好

【步骤5】一旦这些设置好了，剩下的就是hadoop的配置和spark配置了

【步骤6】配置好这些多，记得先启动hadoop，然后启动spark，这样就ok了

【步骤王】以上主要为搭建流程，，具体操作网上都有，其中以三台电脑的ssh互通为最主要部分