Hadoop集群安装spark集群

软件环境：

Ambari搭建的hadoop平台

环境准备：

修改主机名为namenode snamenode datanode1 datanode2 datanode3

各机器ssh免密码登录

Namenode机器已安装java

1) 下载官网已编译好的spark压缩包 http://spark.apache.org/downloads.html

下载文件包不完整错误

下载spark1.5总遇到压缩包下载不完整的情况。导致在centos系统解压缩时，总报错压缩文件非正常结束。

2) 修改配置文件

vi spark/conf/spark-env.xml

export JAVA_HOME=/usr/jdk64/jdk1.7.0_67

export HADOOP_HOME=/usr/hdp/2.2.6.0-2800/hadoop

export HADOOP_CONF_DIR=/usr/hdp/2.2.6.0-2800/hadoop/etc/hadoop

export SPARK_MASTER_IP=namenode

export SPARK_LOCAL_DIRS=/tmp/spark/

export SPARK_DRIVER_MEMORY=1G

export SPARK_EXECUTOR_MEMORY=2G

export SPARK_MASTER_WEBUI_PORT=8083

vi spark/conf/slaves

snamenode

datanode1

datanode2

datanode3

3) 配置spark环境变量到path (可选)

sudo vim /etc/profile

export JAVA_HOME=/usr/lib/jdk7

export JRE_HOME=JAVAHOME/jreexportCLASSPATH=.:{JAVA_HOME}/jre
export CLASSPATH=.:{JAVA_HOME}/lib:JREHOME/libexportSPARKHOME=/home/zarchary/software/spark−0.8.1PATH={JRE_HOME}/lib
export SPARK_HOME=/home/zarchary/software/spark-0.8.1
PATH=PATH:JAVAHOME/bin:JAVA_HOME/bin:{SPARK_HOME}/bin:${SPARK_HOME}/sbin

export PATH

source /etc/profile #让配置生效