spark jvm参数配置
2017-09-22 16:36
1356 查看
1.Driver端的JVM参数:
对于-Xmx,-Xms ,
yarn-client模式,则默认读取spark-env文件中的SPARK_DRIVER_MEMORY参数值;
yarn-cluster模式,则默认读取的是spark-default.conf文件中的spark.driver.extraJavaOptions对应的JVM参数值。
对于PermSize,
yarn-client模式,则是默认读取spark-class文件中的JAVA_OPTS设置的值;
yarn-cluster模式,则默认读取的是spark-default.conf文件中的spark.driver.extraJavaOptions对应的JVM参数值。
对于GC方式,
yarn-client模式,则默认读取的是spark-class文件中的JAVA_OPTS设置的值;
yarn-cluster模式,则默认读取的是spark-default.conf文件中的值
注意,如果想改变值,则可通过在spark-submit时添加
此外,spark-submit命令行提交时如果使用了参数--driver-java-options,则将覆盖上面的设置值
2.Executor端的JVM参数:
对于-Xmx,-Xms,
yarn-client模式,则默认读取spark-env文件中的SPARK_EXECUTOR_MEMORY值,
yarn-cluster模式,则默认读取的是spark-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。
对于PermSize,
yarn-client模式,则默认读取park-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。
yarn-cluster模式,则默认读取park-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。
对于GC方式,
yarn-client模式,则默认读取park-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。
yarn-cluster模式,则默认读取park-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。
最后需要注意的是在用spark-submit提交job的时候最好把jar放在参数最后,如spark-submit xxxx jarname
对于-Xmx,-Xms ,
yarn-client模式,则默认读取spark-env文件中的SPARK_DRIVER_MEMORY参数值;
yarn-cluster模式,则默认读取的是spark-default.conf文件中的spark.driver.extraJavaOptions对应的JVM参数值。
对于PermSize,
yarn-client模式,则是默认读取spark-class文件中的JAVA_OPTS设置的值;
yarn-cluster模式,则默认读取的是spark-default.conf文件中的spark.driver.extraJavaOptions对应的JVM参数值。
对于GC方式,
yarn-client模式,则默认读取的是spark-class文件中的JAVA_OPTS设置的值;
yarn-cluster模式,则默认读取的是spark-default.conf文件中的值
注意,如果想改变值,则可通过在spark-submit时添加
--conf "spark.driver.extraJavaOptions=${java_options}"
此外,spark-submit命令行提交时如果使用了参数--driver-java-options,则将覆盖上面的设置值
--driver-java-options "${java_options}" \
2.Executor端的JVM参数:
对于-Xmx,-Xms,
yarn-client模式,则默认读取spark-env文件中的SPARK_EXECUTOR_MEMORY值,
yarn-cluster模式,则默认读取的是spark-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。
对于PermSize,
yarn-client模式,则默认读取park-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。
yarn-cluster模式,则默认读取park-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。
对于GC方式,
yarn-client模式,则默认读取park-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。
yarn-cluster模式,则默认读取park-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。
最后需要注意的是在用spark-submit提交job的时候最好把jar放在参数最后,如spark-submit xxxx jarname
相关文章推荐
- JVM参数配置大全
- JVM参数配置
- 高手教大家如何配置JVM参数
- spark 的各种参数配置
- tomcat文件配置JVM参数过程
- JVM常用参数配置
- JVM参数配置大全
- Java虚拟机(JVM)参数配置说明
- Java虚拟机(JVM)参数配置说明
- Spark 性能相关参数配置详解
- JVM内存配置参数
- Java虚拟机(JVM)参数配置说明
- myeclipse中tomcat的jvm参数内存配置
- Java虚拟机(JVM)参数配置说明(转自:http://lavasoft.blog.51cto.com/62575/25492)
- Java虚拟机详解03----常用JVM配置参数
- JVM参数详解与配置
- kafka优化–JVM参数配置优化
- Spark 性能相关参数配置详解-压缩与序列化篇
- 不同场景下JVM参数的配置方式
- 你不太熟悉的JVM命令配置参数