Hadoop运维(3) Spark集群部署

1. 安装Scala

从scala官网，下载最新的以.tgz结尾的文件

通过tar zxf解压

将文件夹放到/usr/local/scala中

设置环境变量SCALA_HOME与PATH

通过scala -version进行验证。

2. 部署Spark

官网下载spark

修改spark-env.sh

# 添加以下内容
export JAVA_HOME=/usr/lib/jvm/jdk8
export SCALA_HOME=/usr/local/scala
export SPARK_WORKER_MEMORY=100m
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

修改slaves

# 添加以下内容
slave1

将spark部署到所有主机的相同位置，并执行sbin/start-all.sh。查看http://master:8080验证spark是否启动成功。