linux下安装eclipse开发Spark程序

今天成功在eclipse下开发了一个简单的Scala版WordCount，并在spark集群成功运行（standalone模式）。做个笔记mark一下

前提

安装了jdk，我的环境是1.7.0_79

安装包

Eclipse：eclipse-standard-kepler-SR2-linux-gtk-x86_64.tar.gz

Scala：scala-2.10.6.rpm 下载地址：http://www.scala-lang.org/files/archive/

Eclipse Scala IDE插件： update-site.zip 下载地址：http://download.scala-ide.org/sdk/e38/scala210/stable/

安装过程

1. 把eclipse-standard-kepler-SR2-linux-gtk-x86_64.tar.gz解压缩到/opt下（自定义解压缩到哪里）

tar zxvf eclipse-standard-kepler-SR2-linux-gtk-x86_64.tar.gz

[root@sparkmaster ~]# ll /opt/eclipse/

total 320

drwxrwsr-x. 2 100 users 4096 Feb 24 2014 about_files

-rw-rw-r--. 1 100 users 18732 Jan 17 2014 about.html

-rw-rw-r--. 1 100 users 113671 Feb 24 2014 artifacts.xml

drwxrwsr-x. 11 100 users 4096 Jan 20 18:55 configuration

drwxrwsr-x. 2 100 users 4096 Feb 24 2014 dropins

-rwxr-xr-x. 1 100 users 73031 Jan 15 2014 eclipse

-rw-rw-r--. 1 100 users 449 Jan 20 18:54 eclipse.ini

-rw-rw-r--. 1 100 users 16536 Feb 12 2014 epl-v10.html

drwxrwsr-x. 33 100 users 4096 Jan 20 18:54 features

-rw-rw-r--. 1 100 users 9022 Oct 9 2013 icon.xpm

-rw-rw-r--. 1 100 users 9230 Feb 12 2014 notice.html

drwxrwsr-x. 4 100 users 4096 Feb 24 2014 p2

drwxrwsr-x. 11 100 users 45056 Jan 20 18:54 plugins

drwxrwsr-x. 2 100 users 4096 Feb 24 2014 readme

2. 解压缩update-site.zip并把其features和plugins下的所有jar包都copy到eclipse下对应的features和plugins目录下

3.安装Scala

rpm -ivh scala-2.10.6.rpm

启动eclipse编写程序

进入到/opt/eclipse下启动eclipse：

[root@sparkmaster opt]# ./eclipse/eclipse

Eclipse打开之后，从file-->new-->others-->Scala Wizards-->Scala Project新建一个project，我命名为SparkScala



右击SparkScala，-->properties-->Java Build Path-->Libraries-->Add External Jars，选择spark安装目录下lib/的assembly jar包：



然后在src包下new一个Scala class，步骤跟上步一样，把包名命名为spark.wordcount，把类名命名为WordCount.进入编辑界面：

简单起见，我的code如下：

package spark.wordcount

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object WordCount {
def main(args: Array[String]) {
val infile = "/input" // Should be some file on your system
val conf = new SparkConf().setAppName("word count")
val sc = new SparkContext(conf)
val indata = sc.textFile(infile, 2).cache()
val words = indata.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey((a,b) => (a+b))
words.saveAsTextFile("/output")
println("All words are counted!")
}
}

其中本地目录/下预先准备好一个input文件，内含一些内容；/output必须不存在，否则运行时会报错。

[root@sparkmaster output]# cat /input

test file

this is for spark test

workcount

fantastic

导出jar包：右击spark.wordcount，选择export-->java-->JAR file-->选择报错路径和jar包名字，我的为/opt/spark-wordcount-in-scala.jar。

在spark上运行

确保master和worker已经在运行，如果没有，先启动。

[root@sparkmaster bin]# jps

3038 Jps

1635 Worker

29749 org.eclipse.equinox.launcher_1.3.0.v20130327-1440.jar

20186 Master

进入[root@sparkmaster ~]# cd /opt/spark-1.6.0-bin-hadoop2.6/bin

提交作业

[root@sparkmaster bin]# ./spark-submit --class spark.wordcount.WordCount
/opt/spark-wordcount-in-scala.jar

红色字highlight的部分，需注意，是包名加类名，否则会报找不到类的exception

查看结果

[root@sparkmaster /]# cd output/

[root@sparkmaster output]# ll

total 8

-rw-r--r--. 1 root root 48 Jan 20 23:15 part-00000

-rw-r--r--. 1 root root 32 Jan 20 23:15 part-00001

-rw-r--r--. 1 root root 0 Jan 20 23:15 _SUCCESS

[root@sparkmaster output]# cat part-00000

(this,1)

(is,1)

(workcount,1)

(file,1)

(test,2)

[root@sparkmaster output]# cat part-00001

(spark,1)

(fantastic,1)

(for,1)

至此，哦了~~