spark-submit 提交作业到集群
2016-08-14 14:56
357 查看
1 IDEA 打包
示例代码参考AMPCamp2015之SparkSQL,开发环境使用idea。首先需要将程序打包成jar选择project structure --》artifacts ,由于集群已经有了运行依赖的jar包,打包时可以将这些jar包排除出去,以减小打包后的jar包的大小。
点击ok,然后选择build --》build artifacts,SparkSQLTest --》build,然后在工程目录的子目录下会生成j对应的jar文件:
2 提交任务
首先启动集群,然后客户端来到spark-submit目录:/app/hadoop/spark131/binspark-submit通过命令行的方式提交任务,具体参数信息如下参考:
提交示例如下:
在命令行输入如下命令:
./spark-submit --class SparkSQLTest --master spark:hadoop1:7077 --executor-memory 2g --num-executors 3 /home/kaiseu/MyProject/IdeaProjects/SparkProject/Saprk131/out/artifacts/SparkSQLTest_jar/SparkSQLTest.jar
在web监控界面可以看到:
3 运行结果
结果如下:相关文章推荐
- Launching Applications with spark-submit【使用脚本提交作业到集群5种部署模式--】
- Spark源码系列(一)spark-submit提交作业过程
- spark-submit提交jar包到集群找不到主类
- 提交第一个spark作业到集群运行
- SparkSubmit 提交作业源码流程粗略概述(含application中 driver、client、 executor的创建)
- IDEA Spark-submit提交任务到集群
- Spark提交作业的流程以及作业是如何被触发在集群中运行的
- Spark源码系列(一)spark-submit提交作业过程
- spark-submit提交任务到集群
- Spark源码系列(一)spark-submit提交作业过程
- spark-submit提交任务到集群-案例
- Spark集群中使用spark-submit提交jar任务包实战经验
- Spark组件之SparkR学习2--使用spark-submit向集群提交R代码文件dataframe.R
- 使用spark-submit提交jar包到spark standalone集群(续)
- Spark组件之SparkR学习3--使用spark-submit向集群提交R代码文件data-manipulation.R
- 蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验
- Spark源码系列(一)spark-submit提交作业过程
- Spark源码系列(一)spark-submit提交作业过程
- spark-submit提交作业过程
- Spark源码系列(一)spark-submit提交作业过程