Spark2.0安装配置

1. 下载

截止我写这篇文章的日期，spark的最新版本为2.0.0，因为我测试环境的hadoop版本是2.6.4的，所以我选择spark的版本是2.0.0，Hadoop是2.6；​进入Apache Spark官网的下载页下载。

2. 环境配置

集群环境：

主机名	IP	hadoop环境	Scala环境	Java环境
master	192.168.146.146	/usr/local/hadoop-2.6.4	/usr/local/scala	/usr/local/jdk1.7.0_79
node1	192.168.146.145	/usr/local/hadoop-2.6.4	/usr/local/scala	/usr/local/jdk1.7.0_79
node2	192.168.146.144	/usr/local/hadoop-2.6.4	/usr/local/scala	/usr/local/jdk1.7.0_79
node3	192.168.146.143	/usr/local/hadoop-2.6.4	/usr/local/scala	/usr/local/jdk1.7.0_79

​

将下载好的spark-2.0.0-bin-hadoop2.6.tgz拷贝到主机master上的/usr/local目录中，并执行命令解压到当前目录中：

tar -zxf spark-2.0.0-bin-hadoop2.6.tgz

解压后的目录结构如下：



修改目录conf中的配置文件来配置spark的运行环境，conf目录中包含的文件有：



​我们主要修改spark-env.sh这个文件。拷贝spark-env.sh.template并重命名为spark-env.sh：

​cp spark-env.sh.template spark-env.sh，结果如下：



​接下来修改spark-env.sh，主要添加以下几项配置：

配置项	值	说明
JAVA_HOME	/usr/local/jdk1.7.0_79	指向jdk的安装路径
HADOOP_HOME	/usr/local/hadoop-2.6.4	指向hadoop的安装路径
SCALA_HOME	/usr/local/scala	scala的安装
HADOOP_CONF_DIR	/usr/local/hadoop-2.6.4/etc/hadoop	hadoop配置文件所在的目录
SPARK_MASTER_HOST	192.168.146.146	spark集群master运行主机

​执行sbin/start-all.sh命令，查看是否能够启动spark，查看是否有Worker和Master进程。



​运行spark提供的示例检测：bin/run-example JavaSparkPi 5 2





至此，单个节点的Spark环境配置结束。

3. 多个节点的集群环境配置

在上述单个节点启动成功的基础上，配置多个节点集群环境是比较简单的一件事情。

修改master上节点的slaves配置文件来配置Worker节点的位置，这里我将node1、node2、node3作为Worker节点的运行机器，在conf/slaves(复制slaves.template)中添加node1、node2和node3。



将master上配置好的spark目录文件全部分别拷贝到node1、node2和node3所在机器上(可以通过ansible这个工具来操作)。

通过命令sbin/start-all.sh启动spark集群





也可以通过浏览器来查看集群状态，在浏览器中通过spark主节点的8080端口可以查看集群状态，在浏览器中输入：http://master:8080

4. 运行测试

​ Standalone模式的测试

​ 在shell环境下运行Spark提供的案例程序JavaSparkPi，通过如下命令：

​ bin/spark-submit –class org.apache.spark.examples.JavaSparkPi –master spark://master:7077 examples/jars/spark-examples_2.11-2.0.0.jar 10 4

​ shell界面输出如下信息：



​ 从shell界面我们不能得到什么信息，我们可以通过浏览器来查看执行这个应用的具体信息，在浏览器中输入http://master:8080，我们将看到如下信息：



​ 点击Completed Applications中的链接，我们可以查看运行这个应用所消耗的资源情况：



​ 点击Completed Drivers下的超链来查看应用程序driver进程所在节点的信息，通过这个节点我们也可以查看整个应用程序的输入结果信息。



​ 点击上图中的stdout，我们可以查看整个应该程序的输出结果。如下：