Spark下如何运行Java版本的WordCount
2015-03-15 21:36
495 查看
最近研究了下spark,因为scala还不熟,所以先学习了java的spark程序写法,下面是我的简单测试程序的代码,大部分函数的用法已在注释里面注明。这里需要用到一个jar文件:spark-assembly-1.0.0-hadoop1.0.4.jar
WordCount代码如下:
手动编译运行过程:
导出类文件生成jar包,这里生成为JavaWordCount.jar。
然后执行下面命令,其中--class 指定主类,--master 指定spark master地址,后面是执行的jar和需要的参数。
bin/spark-submit--class org.project.modules.spark.java.WordCount
--master spark://centos.host1:7077
/home/hadoop/project/mining.jarhdfs://centos.host1:9000/user/hadoop/data/wordcount/001/word.txt
可以看到控制台有如下结果:
WordCount代码如下:
手动编译运行过程:
导出类文件生成jar包,这里生成为JavaWordCount.jar。
然后执行下面命令,其中--class 指定主类,--master 指定spark master地址,后面是执行的jar和需要的参数。
bin/spark-submit--class org.project.modules.spark.java.WordCount
--master spark://centos.host1:7077
/home/hadoop/project/mining.jarhdfs://centos.host1:9000/user/hadoop/data/wordcount/001/word.txt
可以看到控制台有如下结果:
相关文章推荐
- 将java开发的wordcount程序提交到spark集群上运行
- 将java开发的wordcount程序部署到spark集群上运行
- 010-spark standalone模式JAVA版本WordCount代码
- java调用spark的借口运行WordCount
- 大数据生态系统基础:Apache Spark(三):Java 版本编程实例(WordCount)
- Spark开发-WordCount详细讲解Java版本
- 将java开发的wordcount程序部署到spark集群上运行
- Spark学习笔记-如何运行wordcount(使用jar包)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop伪分布模式并运行Wordcount示例(1)
- Spark wordcount开发并提交到集群运行
- 在Spark上运行WordCount程序
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop-伪分布模式并运行Wordcount(2)
- spark从hdfs上读取文件运行wordcount
- 如何运行Hadoop例子中的wordcount
- hadoop-2.6.0如何编译,运行WordCount 程序
- spark stream JavaKafkaWordCount
- Eclipse 编写的spark版WordCount运行在spark上
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)
- Spark在Yarn上运行Wordcount程序