Spark集群环境搭建

环境准备：
虚拟机：ubuntu 16.04 LTS
已经搭建好hadoop集群的两台主机：

master:192.168.184.158
slave1:192.168.184.169

由于电脑性能问题，将master与slave1主机共同作为节点进行配置，即master也作为datanode（实际应用中不建议，这里是为了模拟）。
 
1.安装scala
    下载地址为：http://www.scala-lang.org/download/
    先在master上安装，路径为：/home/hadoop/software/
tar -xvf scala-2.11.8.tgz
mv scala-2.11.8  scala
    将/home/hadoop/software/scala/bin目录加入环境变量，生效后执行
scala-version
会出现以下信息：
    Scala code runner version 2.11.8-- Copyright 2002-2016,LAMP/EPFL
    分发scala文件目录到slave节点，
    scp -r /home/hadoop/software/scala hadoop@slave1:/home/hadoop/software/
同样配置环境变量。
 
2.  安装spark
下载spark，http://d3kbcqa49mib13.cloudfront.net/spark-1.2.0-bin-hadoop2.4.tgz
在/home/hadoop/software/解压并重命名为spark
在master主机配置spark:
cd /home/hadoop/software/spark/conf
cp spark-env.sh.templatespark-env.sh
在spark-env.sh最后加入如下内容：
###jdk安装目录
exportJAVA_HOME=/home/hadoop/software/jdk1.6.0_31
###scala安装目录
export SCALA_HOME=/home/hadoop/software/scala
###spark集群的master节点的ip
export SPARK_MASTER_IP=192.168.184.158
###指定的worker节点能够最大分配给Excutors的内存大小
export SPARK_WORKER_MEMORY=2g
###hadoop集群的配置文件目录
exportHADOOP_CONF_DIR=/home/hadoop/software/hadoop/etc/hadoop
 
新建slaves文件
加入集群节点,节点应和hadoop下的节点一致：
master
slave1
master配置完成，将/home/hadoop/software/spark/目录分发至其他slave节点：
scp -r/home/hadoop/software/spark hadoop@slave1: /home/hadoop/software/
 
3.  启动spark集群
先启动hadoop hdfs
start-dfs.sh
启动完毕后
cd /home/hadoop/software/spark/sbin
执行
./start-all.sh
访问：http://192.168.184.158:8080/如下即执行成功：