您的位置:首页 > 其它

spark-2.0.0提交jar任务的几种方式

2016-12-20 09:27 323 查看
对应参数改为适合自己的模式即可

//(集群模式)限制资源,后台执行

spark-submit --class test.Streamings --master spark://10.102.34.248:7077 --deploy-mode cluster --executor-memory 500M --total-executor-cores 5 sparkdemo-0.0.1-SNAPSHOT.jar

//(集群模式)控制台输出(不限制资源),ctrl+c结束,可用于调试

spark-submit --class test.Streamings --master spark://10.102.34.248:7077 sparkdemo-0.0.1-SNAPSHOT.jar

//(集群模式)控制台无输出(不限制资源),后台执行

spark-submit --class test.Streamings --master spark://10.102.34.248:7077 --deploy-mode cluster sparkdemo-0.0.1-SNAPSHOT.jar

//(单点模式)控制台输出日志,ctrl+c结束,可用于调试

spark-submit --class test.Streamings sparkdemo-0.0.1-SNAPSHOT.jar
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: