Spark学习笔记2@spark-env参数说明
2017-04-06 14:22
246 查看
| 参数名 | 默认值 | 参数说明 |
|---|---|---|
| JAVA_HOME | AVA安装目录 | |
| PYSPARK_PYTHON | PySpark驱动器和worker使用的Python二进制可执行文件 | |
| PYSPARK_DRIVER_PYTHON | $PYSPARK_PYTHON | |
| SPARK_LOCAL_IP | 本地绑定的IP | |
| SPARK_PUBLIC_DNS | Spark应用发布给其他主机的hostname | |
| SPARK_MASTER_IP | Master绑定特定的IP | |
| SPARK_MASTER_PORT | 7077 | 为Master指定特定端口 |
| SPARK_MASTER_WEBUI_PORT | 8080 | Master web UI特定端口 |
| SPARK_MASTER_OPTS | 配置Master参数，格式“-Dx=y”，可选参数参考下面列表 | |
| SPARK_LOCAL_DIRS | 本地存储空间，包括map输出文件和存储在磁盘的RDDs，可以设置为以逗号分隔的不同磁盘的多个目录 | |
| SPARK_WORKER_CORES | 所有cpu核 | 允许Spark应用程序使用的cpu核数 |
| SPARK_WORKER_MEMORY | total memory minus 1 GB | 允许Spark应用程序使用的memory总数 |
| SPARK_WORKER_PORT | Worker端口 | |
| SPARK_WORKER_WEBUI_PORT | Worker webUI 端口 | |
| SPARK_WORKER_INSTANCES | 1 | 每台机器上运行的Worker实例数。如果要设置这个参数，也要设置SPARK_WORKER_CORES参数以明确限制每个Worker使用Cpu数，否则每个Worker尝试使用所有Cpu核 |
| SPARK_WORKER_DIR | $SPARK_HOME/work | 运行应用程序的目录，包括日志及scratch空间 |
| SPARK_WORKER_OPTS | 配置Worker参数，格式“-Dx=y”，可选参数参考下面列表 | |
| SPARK_DAEMON_MEMORY | 1G | 分配给Spark Master、worker守护进程的内存 |
| SPARK_DAEMON_JAVA_OPTS | Spark Master、Worker守护进程的JVM选项，格式“-Dx=y” | |
| SPARK_PUBLIC_DNS | Spark Master、worker公共DNS名称 |
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 【学习笔记】redis配置文件redis.conf参数说明
- Spark学习（三）---Spark Standalone Mode说明及参数配置详解
- Scala中隐式参数实战详解以及隐式参数在Spark中的应用源码解析之Scala学习笔记-50
- 语音学习笔记14------卷积神经网络CNN参数说明
- Memcached （参数说明）--学习笔记（二）
- Scala中上下文界定内幕中的隐式参数与隐式参数的实战详解及其在Spark中的应用源码解析之Scala学习笔记-52
- 机器视觉学习笔记（4）——单目摄像机标定参数说明
- SVM学习笔记（一）：libsvm参数说明（转）
- 机器视觉学习笔记（6）——双目摄像机标定参数说明
- 第60讲：Scala中隐式参数实战详解以及隐式参数在Spark中的应用源码解析学习笔记
- Spark学习笔记5-隐式转换，隐式参数，隐式类
- oracle学习笔记 RMAN format参数说明
- Mysql DBA 高级运维学习笔记-MySQL主从复制指定不同库表参数说明
- 机器视觉学习笔记（4）——单目摄像机标定参数说明
- [原创]java WEB学习笔记77：Hibernate学习之路---Hibernate 版本 helloword 与 解析，.环境搭建，hibernate.cfg.xml文件及参数说明，持久化类，对象-关系映射文件.hbm.xml，Hibernate API (Configuration 类,SessionFactory 接口,Session 接口,Transaction(事务))
- bootstrap模态弹出框学习笔记（1-9 模态弹出框--模态弹出窗的使用（data-参数说明））
- 机器视觉学习笔记（4）——单目摄像机标定参数说明
- Objective-C学习笔记 @property 参数说明
- Scala中隐式参数与隐式转换的联合使用实战详解及其在Spark中的应用源码解析之Scala学习笔记-51
- C语言学习笔记——main（argc，char *agrv[]）中参数的说明