本地开发spark代码上传spark集群服务并运行(基于spark官网文档)
2015-01-08 18:48
633 查看
打开IDEA 在src下的main下的scala下右击创建一个scala类 名字为SimpleApp ,内容如下
打包文件:
File-->>ProjectStructure -->点击Artificats-->>点击绿色加号 --> 点击JAR-->>选择 From module with dependices
点击Output Layout 看看是否没有第三方jar包,因为你使用spark集群环境,所以你不需要第三方jar包
重新build:
Build-->>Build Artifcat ..--->>build 或者rebuild
执行后 就会在D:\mygit\study-scala\out\artifacts\study_scala_jar目录下看到study-scala.jar
上传到spark集群服务器的 spark_home下的myApp下
上传/home/spark/opt/spark-1.2.0-bin-hadoop2.4/README.md到HDFS中
提交spark任务:
./bin/spark-submit --class "SimpleApp" --master local[4] myApp/study-scala.jar
执行结果为a:60,b:29
import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object SimpleApp { def main(args: Array[String]) { val logFile = "/home/spark/opt/spark-1.2.0-bin-hadoop2.4/README.md" // Should be some file on your system val conf = new SparkConf().setAppName("Simple Application") val sc = new SparkContext(conf) val logData = sc.textFile(logFile, 2).cache() val numAs = logData.filter(line => line.contains("a")).count() val numBs = logData.filter(line => line.contains("b")).count() println("Lines with a: %s, Lines with b: %s".format(numAs, numBs)) } }
打包文件:
File-->>ProjectStructure -->点击Artificats-->>点击绿色加号 --> 点击JAR-->>选择 From module with dependices
点击Output Layout 看看是否没有第三方jar包,因为你使用spark集群环境,所以你不需要第三方jar包
重新build:
Build-->>Build Artifcat ..--->>build 或者rebuild
执行后 就会在D:\mygit\study-scala\out\artifacts\study_scala_jar目录下看到study-scala.jar
上传到spark集群服务器的 spark_home下的myApp下
上传/home/spark/opt/spark-1.2.0-bin-hadoop2.4/README.md到HDFS中
提交spark任务:
./bin/spark-submit --class "SimpleApp" --master local[4] myApp/study-scala.jar
执行结果为a:60,b:29
相关文章推荐
- 本地开发spark代码上传spark集群服务并运行(基于spark官网文档)
- 本地开发spark代码上传spark集群服务并运行(基于spark官网文档)
- 本地开发spark代码上传spark集群服务并运行
- 本地开发spark代码上传spark集群服务并运行
- eclipse或idea中开发spark程序本地运行以及提交集群运行
- 3-2、Intellij IDEA开发、集群提交运行Spark代码
- spark学习7之IDEA下搭建Spark本地编译环境并上传到集群运行
- Spark入门--基于Intellij IDEA开发Spark应用并在集群上运行
- 在IDEA中开发代码,并运行在Spark集群中的问题
- 2048聚合版开源代码,cocos2d-js编写,基于CocosEditor开发工具,可运行Android,ios,html5等
- 基于eclipse maven 开发 spark 集群计算
- Intellij IDEA开发(local模式)提交运行Spark代码
- eclipse开发spark程序配置本地运行
- 使用ngrok本地开发微信,代码无需上传到服务器
- 基于虚拟机的spark集群开发环境的搭建
- Scala-IDE Eclipse(Windows)中开发Spark应用程序,在Ubuntu Spark集群上运行
- spark mllib 应用程序开发及提交到spark集群运行--入门
- MapReduce程序的3种集群提交运行模式详解---基于Windows与Linux两种开发环境
- Spark Streaming + Flume整合官网文档阅读及运行示例
- 第94讲, 使用Scala开发集群运行的Spark 实现在线黑名单过滤程序