spark-submit常用参数

yarn模式默认启动2个executor，无论你有多少的worker节点

standalone模式每个worker一个executor，无法修改executor的数量

partition是RDD中的一个dataset，一般默认都是2个

executor中的task数量由partition数(最后一个stage的partition数)决定

Options:

--master MASTER_URL 选择运行模式，spark://host:port, mesos://host:port, yarn, or local.

--deploy-mode DEPLOY_MODE 将driver运行在本地(client)或其他worker节点上(cluster) (Default: client).

--class CLASS_NAME 程序主类名

--name NAME 应用名

--jars JARS driver和executor都需要的包，多个包之间用逗号(,)分割

--properties-file FILE 读取的环境变量文件位置，默认读取的位置为conf/spark-defaults.conf

--driver-memory MEM driver使用的内存(e.g. 1000M, 2G) (Default: 512M).

--driver-class-path driver所依赖的包，多个包之间用冒号(:)分割

--executor-memory MEM 每个executor使用的内存 (e.g. 1000M, 2G) (Default: 1G).

Spark standalone with cluster deploy mode only:

--driver-cores NUM diver使用的 核心数(Default: 1).

--supervise 重启失败的driver

--kill SUBMISSION_ID 删掉指定的driver

--status SUBMISSION_ID 返回指定的driver状态

Spark standalone and Mesos only:

--total-executor-cores NUM 所有executors使用的核心总数

YARN-only:

--driver-cores NUM diver使用的 核心数(只用于cluster),(Default: 1)

--executor-cores NUM 每个executor使用的核心数 (Default: 1).

--queue QUEUE_NAME 提交到yarn上的队列名 (Default: "default").

--num-executors NUM 启动的executor的数量 (Default: 2).