Win 7 64位 单机Spark安装

1.准备安装软件

（1）jdk 1.8

（2）scala

（3）Intellij IDE

（4）spark-1.3.0-bin-hadoop2.4.tgz



为了读者方便，这里已经把以上文件下载好共享到百度网盘里了 地址

2.安装过程

（1）jdk 1.8 默认安装，安装完记得配置下环境变量，可通过cmd java -version检查是否安装成功

（2）scala 默认安装，直接下一步即可

（3）Intellij IDE，默认安装。安装完需要安装一下scala插件





安装成功之后，在新建工程的时候可以看到scala选项



（4）spark-1.3.0-bin-hadoop2.4.tgz直接解压，然后将spark-1.3.0-bin-hadoop2.4\lib\spark-assembly-1.3.0-hadoop2.4.0.jar复制到Intellij IDE安装目录下的lib文件夹中

然后单击Intellij IDE菜单栏上File选项，选择Project Strcture,在弹出的对话框中单击左侧的Libraries,之后单击上方绿色+号，添加刚才下载的jar文件



至此，安装成功！！！

3.简单演示

（1）新建一个名为HelloWorld的工程，注意配置下JDK，Scala SDK 路径

（2）HelloWorld

object HelloWorld{
def main(args: Array[String]) {
println("Hello World")
}
}

运行结果截图



（3）WordCount

import org.apache.spark.{SparkConf,SparkContext}

object WordCount{
def main(args: Array[String]) {
val conf = new SparkConf().setMaster("local").setAppName("WordCount")
val sc = new SparkContext(conf)
val data = sc.textFile("wc.txt")
data.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect().foreach(println)
}
}

运行结果截图