spark-submit工具参数说明
2016-07-17 21:43
477 查看
spark-submit工具参数说明
执行时需要传入的参数说明
Usage: spark-submit [options] <app jar | python file> [app options]
执行时需要传入的参数说明
Usage: spark-submit [options] <app jar | python file> [app options]
参数名称 | 含义 |
--master MASTER_URL | 可以是spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local |
--deploy-mode DEPLOY_MODE | Driver程序运行的地方,client或者cluster |
--class CLASS_NAME | 主类名称,含包名 |
--name NAME | Application名称 |
--jars JARS | Driver依赖的第三方jar包 |
--py-files PY_FILES | 用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip, .egg, .py文件列表 |
--files FILES | 用逗号隔开的要放置在每个executor工作目录的文件列表 |
--properties-file FILE | 设置应用程序属性的文件路径,默认是conf/spark-defaults.conf |
--driver-memory MEM | Driver程序使用内存大小 |
--driver-java-options | |
--driver-library-path | Driver程序的库路径 |
--driver-class-path | Driver程序的类路径 |
--executor-memory MEM | executor内存大小,默认1G |
--driver-cores NUM | Driver程序的使用CPU个数,仅限于Spark Alone模式 |
--supervise | 失败后是否重启Driver,仅限于Spark Alone模式 |
--total-executor-cores NUM | executor使用的总核数,仅限于Spark Alone、Spark on Mesos模式 |
--executor-cores NUM | 每个executor使用的内核数,默认为1,仅限于Spark on Yarn模式 |
--queue QUEUE_NAME | 提交应用程序给哪个YARN的队列,默认是default队列,仅限于Spark on Yarn模式 |
--num-executors NUM | 启动的executor数量,默认是2个,仅限于Spark on Yarn模式 |
--archives ARCHIVES | 仅限于Spark on Yarn模式 |
相关文章推荐
- iOS运行时Runtime浅析
- 【SSH进阶】No result defined for action **的解决方案
- 如何快糙好猛地在Windows下编译CAFFE并使用其matlab和python接口
- 读书笔记-现代操作系统-7多媒体操作系统-7.6多媒体文件系统泛型7.7文件存放
- Java设计模式之Strategy模式
- Map集合HashMap TreeMap的输出方法
- PHPStorm IDE 快捷键(MAC)
- PHP基础知识构造函数与析构函数
- 文本编写Java
- 在ArcEngine中使用Geoprocessing工具-执行工具
- Android数据存储方式简括
- JFreeChart中文乱码解决方法
- 用友畅捷通高级前端笔试题(一)凭借回忆写出
- 插件式开发(四)---关于资源问题
- Java类库1(16.7.12)
- 【基础】——Servlet原理
- codeforces 527C Glass Carving
- jQuery对象与DOM对象区别及互换
- 如何得到文件长度
- 程 序制作步骤,三级联动,委托事件和Repeater灵活运用以及JS知识补充