Spark 安装

上次记录了hadoop的安装步骤，这次记录一下自己安装Spark的步骤

1，Hadoop
首先我们需要安装hadoop，不知道如何安装的可以查看网上的教程，也可以看我的这篇博客Hadoop安装

2，下载并安装
     1，下载地址： http://spark.apache.org/downloads.html



     
     2，安装：
          sudo tar -zxf ~/下载/spark-2.1.0-bin-hadoop2.7.tgz -C /usr/local/
          cd /usr/local
          sudo mv ./spark-2.1.0-bin-hadoop2.7/ ./spark
          sudo chown -R hadoop:hadoop ./spark          # 此处的 hadoop 为你的用户名

     3，安装后需要修改配置文件：
          cd /usr/local/spark
          cp ./conf/spark-env.sh.template ./conf/spark-env.sh

     4， 编辑 ./conf/spark-env.sh：vim ./conf/spark-env.sh
          在最后加上一行： export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

3，运行spark
     1，
在 ./examples/src/main 目录下有一些 Spark 的示例程序，有 Scala、Java、Python、R 等语言的版本。我们可以先运行一个示例程序 SparkPi（即计算 π 的近似值），执行如下命令：
     cd /usr/local/spark
     ./bin/run-example SparkPi
     这个时候你会看到密密麻麻一大堆的输出信息，根本没办法查找正确的输出结果，此时我们可以
可以通过 

grep

 命令进行过滤（命令中的 

2>&1

 可以将所有的信息都输出到
stdout 中，否则由于输出日志的性质，还是会输出到屏幕中）
     ./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"



至此，Spark就算是安装完毕了！