spark-submit 提交参数总结

spark-submit --master yarn-cluster   --num-executors 48 --driver-memory 2g --executor-memory 7g --executor-cores 3 /home/hadoop/ZhangZhiHua/spark/sparknew.jar

|参数名称|

|含义|

–master MASTER_URL

可以是spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local

–deploy-mode DEPLOY_MODE

Driver程序运行的地方，client或者cluster

–class CLASS_NAME

主类名称，含包名

–name NAME

Application名称

–jars JARS

Driver依赖的第三方jar包

–py-files PY_FILES

用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip, .egg, .py文件列表

–files FILES

用逗号隔开的要放置在每个executor工作目录的文件列表

–properties-file FILE

设置应用程序属性的文件路径，默认是conf/spark-defaults.conf

–driver-memory MEM

Driver程序使用内存大小

–driver-java-options

–driver-library-path

Driver程序的库路径

–driver-class-path

Driver程序的类路径

–executor-memory MEM

executor内存大小，默认1G

–driver-cores NUM

Driver程序的使用CPU个数，仅限于Spark Alone模式

–supervise

失败后是否重启Driver，仅限于Spark Alone模式

–total-executor-cores NUM

executor使用的总核数，仅限于Spark Alone、Spark on Mesos模式

–executor-cores NUM

每个executor使用的内核数，默认为1，仅限于Spark on Yarn模式

–queue QUEUE_NAME

提交应用程序给哪个YARN的队列，默认是default队列，仅限于Spark on Yarn模式

–num-executors NUM

启动的executor数量，默认是2个，仅限于Spark on Yarn模式

–archives ARCHIVES

仅限于Spark on Yarn模式