spark-submit 提交 spark-examples-1.6.1-hadoop2.6.0.jar

提交Demo任务

切换到spark安装目录

bin/spark-submit --master spark://master:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2g lib/spark-examples-1.6.1-hadoop2.6.0.jar

–master 指定master节点

–class 指定执行的类

–executor-memory executor内存大小

bin/spark-submit --master spark://master:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2g --total-executor-cores 2 lib/spark-examples-1.6.1-hadoop2.6.0.jar 1000

–total-executor-cores 总的executor 数目



不对核心数目做限制的时候，是最快的。只有两个核心的时候，很慢。

spark 运行模式

–master 指定spark运行模式

参数	模式
Local	本地模式。使用N个线程
Local cluster[worker,core,Memory]	伪分布式模式，可以配置所需要启动的虚拟工作节点数量，以及每个工作节点所管理的CPU的数量和内存大小
Spark://hostname:port	Standalone 模式、需要部署Spark到相关节点，URL 为Spark Master 主机地址和端口（Spark://master:7077）
Mesos://hostname:port	Mesos 模式， 需要部署Spark 和Mesos到相关节点，URL为Mesos主机地址和端口
YARN standalone/YARN cluster	YARN 模式一，主程序逻辑和任务都运行在YARN集群中
YARN client	YARN 模式二，主程序逻辑运行在本地，具体任务运行在YARN集群