eclipse 配置scala开发环境
2016-10-17 17:00
471 查看
最近在学习spark相关知识。准备搭建eclipse开发环境。在安装过程中遇到的问题记录下来。
首先在scala网站上下载了scalaIDE:http://scala-ide.org/download/prev-stable.html
下载完成后,新建scala项目,在项目上右键, 选择properties,
添加spark的jar包。
编写wordcount 程序,
将程序导出为jar包,拷贝至linux上,执行命令:
运行结果:
注意: 搭建spark集群时,最好选择spark-with-hadoop,否则会出现缺少hadoop jar 包的问题
首先在scala网站上下载了scalaIDE:http://scala-ide.org/download/prev-stable.html
下载完成后,新建scala项目,在项目上右键, 选择properties,
添加spark的jar包。
编写wordcount 程序,
package example import org.apache.spark._ import SparkContext._ object WordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("worldCount") val sc = new SparkContext(conf) val textFile = sc.textFile(args(0)) val result = textFile.flatMap(line => line.split(" ")) .map(word => (word, 1)).reduceByKey(_+_) result.saveAsTextFile(args(1)) } }
将程序导出为jar包,拷贝至linux上,执行命令:
./spark-submit --class example.WordCount --master spark://192.168.1.241:7077 /opt/word-count.jar /opt/spark/README.md /opt/result
运行结果:
注意: 搭建spark集群时,最好选择spark-with-hadoop,否则会出现缺少hadoop jar 包的问题
相关文章推荐
- scala在eclipse开发环境配置<转>
- eclipse下配置maven-scala环境,开发spark
- win10 系统 eclipse配置scala+spark开发环境
- Win7下安装和配置sbt,Scala,Eclipse,Spark开发环境
- Eclipse3.06 + MinGW3.1配置标准C/C++开发环境
- Eclipse 3.0 上配置JSP开发环境 (引用网友的文章)
- Eclipse 3.0 上配置JSP开发环境(转帖)
- 配置 Apache + ColdFusion MX 7 + MySQL + Eclipse 开发环境(Windows)
- tomcat + mysql +eclipse 配置jsp开发环境系列(一)
- 转贴 :fxy110发表的: Eclipse 3.0 上配置JSP开发环境
- Eclipse 3.0 上配置JSP开发环境
- Eclipse 3.0 上配置JSP开发环境
- Eclipse 3.0 上配置JSP开发环境
- 基于ECLIPSE的J2EE和本地应用程序开发的JAVA环境配置
- Eclipse 3.0 上配置JSP开发环境
- Eclipse 3.0 上配置JSP开发环境
- Eclipse 3.0 上配置JSP开发环境
- Eclipse 3.0 上配置JSP开发环境
- Eclipse 3.0 上配置JSP开发环境