eclipse编写scala应用运行在spark集群上
2017-03-06 22:36
232 查看
代码
输出结果
package spark_1 import org.apache.spark.SparkConf import org.apache.spark.SparkContext class WorkCountTest { //自定义函数 def jiSuan(){ //数据文件路径 var loadFile="hdfs://服务器ip:8020/tmp/dataTest/Z"; //初始化sparkContext var conf=new SparkConf(); conf.setAppName("workCountZhangxs"); conf.setMaster("spark://服务器ip:7077") var sc=new SparkContext(conf); //从hdfs上读取文件 var fileRdd=sc.textFile(loadFile, 2); //过滤出包含执行的字符("yao") var countRdd=fileRdd.filter(line=>line.contains("yao")); //计算出count var countF=countRdd.count(); println(countF) sc.stop(); } } object mainA{ def main(args: Array[String]) { //初始化类 var t=new WorkCountTest(); //调用计算函数 t.jiSuan(); } }
输出结果
相关文章推荐
- Spark学习笔记7-在eclipse里用scala编写spark程序(单机和集群运行)
- scala编写的Spark程序远程提交到服务器集群上运行
- spark学习8之eclipse安装scala2.10和spark编译环境并上传到集群运行
- Scala-IDE Eclipse(Windows)中开发Spark应用程序,在Ubuntu Spark集群上运行
- 编写第一个用scala写的spark任务,用sbt打包成jar,并单机模式下运行
- IDEA【基本配置1】配置SBT 和 scala 并在spark环境中进行wordcount测试(spark集群运行模式)
- Eclipse 编写的spark版WordCount运行在spark上
- Spark1.5.2在eclipse生成jar提交到集群运行
- 【数据平台】Eclipse+Scala开发环境(本机和集群两个运行模式)
- Spark集群 + Akka + Kafka + Scala 开发(3) : 开发一个Akka + Spark的应用
- 编写第一个用scala写的spark任务,用sbt打包成jar,并单机模式下运行
- Idea中编写并运行Spark集群(WordCount)
- 使用IntelliJ IDEA编写Scala在Spark中运行
- eclipse集成Scala,运行Spark项目
- Eclipse提交代码到Spark集群上运行
- Spark&Hadoop:scala编写spark任务jar包,运行无法识别main函数,怎么办?
- Spark入门--基于Intellij IDEA开发Spark应用并在集群上运行
- 第94讲, 使用Scala开发集群运行的Spark 实现在线黑名单过滤程序
- 编写Spark程序并提交到集群上运行
- Windows 上面搭建 Spark + Pycharm/idea scala/python 本地编写Spark程序,测试通过后再提交到Linux集群上