提交jar作业到spark上运行
2015-07-26 20:22
351 查看
1.引入spark包:spark-assembly-1.4.0-hadoop2.6.0,在spark的lib目录下
File-->project structure
2.用IDEA建立一个scala项目,新建一个WordCount的object
3.WordCount代码如下:
4.打包jar包:IDEA-->Project Structure-->Artifacts-->点击+
注意:点击From modules with dependencies,不是Empty
5.填写好导出的路径,我的是放在/home/jiahong/sparkTest目录
6.启动spark集群,到http://localhost:8080/查看spark的主节点地址,我的为:spark://jiahong-OptiPlex-7010:7077
7.在终端上次jar包到spark
进入hadoop,然后用spark-submit命令来提交jar包,如果看不懂上面的命令,则可以用spark-submit --help查看帮助
File-->project structure
2.用IDEA建立一个scala项目,新建一个WordCount的object
3.WordCount代码如下:
import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ object WordCount { def main(args: Array[String]) { if (args.length < 1) { System.err.println("Usage: <file>") System.exit(1) } val conf = new SparkConf() val sc = new SparkContext(conf) val line = sc.textFile(args(0)) line.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).collect().foreach(println) sc.stop() } }
4.打包jar包:IDEA-->Project Structure-->Artifacts-->点击+
注意:点击From modules with dependencies,不是Empty
5.填写好导出的路径,我的是放在/home/jiahong/sparkTest目录
6.启动spark集群,到http://localhost:8080/查看spark的主节点地址,我的为:spark://jiahong-OptiPlex-7010:7077
7.在终端上次jar包到spark
jiahong@jiahong-OptiPlex-7010:~/spark-1.4.0-bin-hadoop2.6$ bin/spark-submit --master spark://jiahong-OptiPlex-7010:7077 --name spark_scala --class WordCount --executor-memory 1G --total-executor-cores 2 ~/sparkTest/spark_scala.jar /home/jiahong/jia.txt
进入hadoop,然后用spark-submit命令来提交jar包,如果看不懂上面的命令,则可以用spark-submit --help查看帮助
spark://jiahong-OptiPlex-7010:7077 为主节点的地址
--name spark_scala 为导出的jar包的名字
--class WordCount 为单词计数的object名
--executor-memory 1G --total-executor-cores 2 指定用多少内存执行和,执行的CPU核数是多少
~/sparkTest/spark_scala.jar 为导出的jar包的位置
/home/jiahong/jia.txt 为要WordCount输入的计算统计词频文件位置 9.运行时查看任务状态地址: http://192.168.22.7:4040
相关文章推荐
- HDU 3065 病毒侵袭持续中 AC自动机
- Java原生多线程并发方法归纳
- 什么是拓扑排序
- 多退少补1:分配最少糖果数
- leetcode 生成杨辉三角形, 118 119 Pascal's Triangle 1,2
- HDU 1099 Lottery 乐透彩
- Codevs3945 完美拓印
- 长度单位与内外边距
- windows 控制面板
- 将十进制数转换为二进制数
- leetcode 生成杨辉三角形, 118 119 Pascal's Triangle 1,2
- [Leetcode 142] Linked List Cycle II
- [LeetCode]Binary Tree Right Side View
- 按键事件在java framework中的流程
- Head First设计模式悟道
- 常用的汉字,用于获得随机图片
- HDU 5310 Souvenir
- 找短板1:柱状图中的最大矩阵面积
- HDU 2222 Keywords Search(AC自动机)
- c语言 模拟 库函数 strstr()函数