IDEA搭建spark-scala的sbt编辑环境实现WorldCount练习
2017-11-16 21:52
567 查看
1:打开IDEA先安装scala 插件 ---》File--Settings--Plugins--搜索scala 安装后关闭IDEA重启后如下图
2:新建Scala项目 File--New--Project--选择Scala--SBT
3:注意版本号的选择--点击finish就构建好了基本scala结构
在这里插一句话如果要是和Spark联合使用那么版本号很重要!!!可以查阅spark官网来看spark-scala的匹配版本号我的spark是2.2.0所以匹配的是2.11
打开新建的项目配置build.sbt文件
新建WorldCount :main下的scala--右键new--ScalaClass
写代码:
import org.apache.spark.{SparkConf, SparkContext}
object WorldCount {
def main(args: Array[String]) {
val conf=new SparkConf().setAppName("wordcount")
val sc=new SparkContext(conf)
val input=sc.textFile("/test/helloSpark.txt")
val lines=input.flatMap(line=>line.split(" "))
val count=lines.map(word=>(word,1)).reduceByKey{case (x,y)=>x+y}
val output=count.saveAsTextFile("/test/helloSparkRes")
}
}
打jar包File--project structure
上图第一个框为项目;第二个为类;第三个为去除jar包至提取核心代码
把jar包考入spark集群中
jar包位置在你的项目路径out下
加入你已经搭建好了spark集群(scala2.11+spark2.2.0)
./start-master.sh
./spark-class org.apache.spark.deploy.worker.Worker spark://Master:7077
spark-submit --master spark://Master:7077 --class WorldCount /test/spark/untitled1.jar
2:新建Scala项目 File--New--Project--选择Scala--SBT
3:注意版本号的选择--点击finish就构建好了基本scala结构
在这里插一句话如果要是和Spark联合使用那么版本号很重要!!!可以查阅spark官网来看spark-scala的匹配版本号我的spark是2.2.0所以匹配的是2.11
打开新建的项目配置build.sbt文件
新建WorldCount :main下的scala--右键new--ScalaClass
写代码:
import org.apache.spark.{SparkConf, SparkContext}
object WorldCount {
def main(args: Array[String]) {
val conf=new SparkConf().setAppName("wordcount")
val sc=new SparkContext(conf)
val input=sc.textFile("/test/helloSpark.txt")
val lines=input.flatMap(line=>line.split(" "))
val count=lines.map(word=>(word,1)).reduceByKey{case (x,y)=>x+y}
val output=count.saveAsTextFile("/test/helloSparkRes")
}
}
打jar包File--project structure
上图第一个框为项目;第二个为类;第三个为去除jar包至提取核心代码
把jar包考入spark集群中
jar包位置在你的项目路径out下
加入你已经搭建好了spark集群(scala2.11+spark2.2.0)
./start-master.sh
./spark-class org.apache.spark.deploy.worker.Worker spark://Master:7077
spark-submit --master spark://Master:7077 --class WorldCount /test/spark/untitled1.jar
相关文章推荐
- Spark开发环境搭建(IDEA、Scala、SVN、SBT)
- IDEA【基本配置1】配置SBT 和 scala 并在spark环境中进行wordcount测试(spark集群运行模式)
- Idea下用SBT搭建Spark Helloworld
- 0070 IntelliJ IDEA+Scala+Hadoop +Spark的开发环境搭建
- Spark集群环境搭建+Maven、SBT编译部署+IDEA开发(一)
- Ubuntu+Spark+IDEA+SBT+scala项目搭建流程记录
- 2017.10最新Spark、IDEA、Scala环境搭建
- Intellij IDEA使用Maven搭建spark开发环境(scala)
- hadoop spark环境搭建及idea scala maven集成开发spark任务
- spark开发环境搭建intellij+Scala+sbt
- Intellij IDEA开发环境搭建,scala配置及打包,jar包在spark中的运行
- Spark Scala IntelliJ IDEA开发环境搭建(入门)
- Idea基于scala语言构建spark开发环境搭建
- SBT+IDEA Scala开发环境搭建
- IDEA使用Maven搭建spark开发环境(scala)
- windows搭建spark运行环境(windows scala,hadoop,spark安装,idea使用配置等)
- idea sbt Spark环境搭建
- IDEA构建Spark编程环境和用Scala实现PageRank算法
- Spark集群环境搭建+Maven、SBT编译部署+IDEA开发(二)
- 分别用Eclipse和IDEA搭建Scala+Spark开发环境