Spark on Intellij IDEA

添加scala插件





如果网络有问题，可以手动下载插件安装包（http://plugins.jetbrains.com/plugin/?id=1347），在上面选择“Install plugin from disk”，在弹出的标签里选择你存放插件的路径，点OK即可。

下面新建scala工程



据说scala2.11问题多，最好用2.10



点击finish之后，啥都没有



到官网http://spark.apache.org/下载spark，解压，从File->Project Structre中导入[spark root path]/lib/spark-assembly-1.5.1-hadoop2.6.0.jar



在scr下新建scala object

/**
* Created by Manhua on 2015/11/11.
*/
import org.apache.spark._

import scala.math.random

object s {
def main(args: Array[String]) {
val spark = new SparkContext("local", "Spark Pi")
val slices = 2
val n = 100000 * slices
val count = spark.parallelize(1 to n, slices).map { i =>
val x = random * 2 - 1
val y = random * 2 - 1
if (x * x + y * y < 1) 1 else 0
}.reduce(_ + _)
println("Pi is roughly " + 4.0 * count / n)
spark.stop()
}
}

右击test.scala，编译，运行



打包jar运行

生成程序包之前要先建立一个artifacts，File -> Project Structure -> Artifacts -> + -> Jars -> From moudles with dependencies，然后随便选一个class作为主class。



选择jar包入口main class





ok之后显示如下



把complie output之外的依赖包remove掉。Name可以按需修改



然后就可以build了





输出目录



上传运行