spark-2.0.0提交jar任务的几种方式
2016-12-20 09:27
323 查看
对应参数改为适合自己的模式即可
//(集群模式)限制资源,后台执行
spark-submit --class test.Streamings --master spark://10.102.34.248:7077 --deploy-mode cluster --executor-memory 500M --total-executor-cores 5 sparkdemo-0.0.1-SNAPSHOT.jar
//(集群模式)控制台输出(不限制资源),ctrl+c结束,可用于调试
spark-submit --class test.Streamings --master spark://10.102.34.248:7077 sparkdemo-0.0.1-SNAPSHOT.jar
//(集群模式)控制台无输出(不限制资源),后台执行
spark-submit --class test.Streamings --master spark://10.102.34.248:7077 --deploy-mode cluster sparkdemo-0.0.1-SNAPSHOT.jar
//(单点模式)控制台输出日志,ctrl+c结束,可用于调试
spark-submit --class test.Streamings sparkdemo-0.0.1-SNAPSHOT.jar
//(集群模式)限制资源,后台执行
spark-submit --class test.Streamings --master spark://10.102.34.248:7077 --deploy-mode cluster --executor-memory 500M --total-executor-cores 5 sparkdemo-0.0.1-SNAPSHOT.jar
//(集群模式)控制台输出(不限制资源),ctrl+c结束,可用于调试
spark-submit --class test.Streamings --master spark://10.102.34.248:7077 sparkdemo-0.0.1-SNAPSHOT.jar
//(集群模式)控制台无输出(不限制资源),后台执行
spark-submit --class test.Streamings --master spark://10.102.34.248:7077 --deploy-mode cluster sparkdemo-0.0.1-SNAPSHOT.jar
//(单点模式)控制台输出日志,ctrl+c结束,可用于调试
spark-submit --class test.Streamings sparkdemo-0.0.1-SNAPSHOT.jar
相关文章推荐
- spark下使用submit提交任务后报jar包已存在错误
- spark-submit提交任务的方式
- 【Spark篇】---Spark中yarn模式两种提交任务方式
- spark下使用submit提交任务后报jar包已存在错误
- Spark任务提交jar包依赖解决方案
- Spark(五)Spark任务提交方式和执行流程
- spark-submit提交任务的方式
- Spark Standalone与Spark on YARN的几种提交方式
- spark源码解析-从提交任务到jar的加载运行(基于2.1.0版本)
- Spark集群中使用spark-submit提交jar任务包实战经验
- Spark任务提交jar包依赖解决方案
- 浅谈Spark几种不同的任务提交相关脚本(以Spark 1.5.0为例)
- Spark Standalone与Spark on YARN的几种提交方式
- Spark任务提交jar包依赖解决方案
- 【Spark篇】---Spark中yarn模式两种提交任务方式
- Spark任务提交jar包依赖解决方案
- Spark任务提交jar包依赖解决方案
- 基于hadoop2.5提交mapreduce任务的几种方式
- storm 0.9.6 提交jar任务包的方式
- Spark on yarn--几种提交集群运行spark程序的方式