ERROR YarnScheduler: Lost executor
2016-06-13 18:40
288 查看
执行脚本出现:
出现此的原因就是yarn资源不够导致的。加大任务执行的资源
改成
Spark job运行参数优化
一般Spark Job很多问题都是来源于系统资源不够用,通过监控日志等判断是内存资源占用过高等导致的问题,因此尝试通过配置参数的方法来解决。
1、--conf spark.akka.frameSize=100
此参数控制Spark中通信消息的最大容量(如task的输出结果),默认为10M,当处理大数据时,task的输出可能会大于这个值,需要根据实际数据设置一个更高的值。
2、--conf spark.yarn.executor.memoryOverhead=4096
executor堆外内存设置,如果程序使用了大量的堆外内存,就该增大此配置。
15/07/30 10:18:13 ERROR cluster.YarnScheduler: Lost executor 8 on myhost1.com: remote Rpc client disassociated 15/07/30 10:18:13 ERROR cluster.YarnScheduler: Lost executor 6 on myhost2.com: remote Rpc client disassociated
出现此的原因就是yarn资源不够导致的。加大任务执行的资源
./spark-submit --class com.xyz.MySpark --conf "spark.executor.extraJavaOptions=-XX:MaxPermSize=512M" --driver-java-options -XX:MaxPermSize=512m --driver-memory 3g --master yarn-client --executor-memory 2G --executor-cores 8 --num-executors 12 /home/myuser/myspark-1.0.jar
改成
./spark-submit --class com.xyz.MySpark --conf "spark.executor.extraJavaOptions=-XX:MaxPermSize=1024M" --driver-java-options -XX:MaxPermSize=1024m --driver-memory 4g --master yarn-client --executor-memory 2G --executor-cores 8 --num-executors 15 /home/myuser/myspark-1.0.jar
Spark job运行参数优化
一般Spark Job很多问题都是来源于系统资源不够用,通过监控日志等判断是内存资源占用过高等导致的问题,因此尝试通过配置参数的方法来解决。
1、--conf spark.akka.frameSize=100
此参数控制Spark中通信消息的最大容量(如task的输出结果),默认为10M,当处理大数据时,task的输出可能会大于这个值,需要根据实际数据设置一个更高的值。
2、--conf spark.yarn.executor.memoryOverhead=4096
executor堆外内存设置,如果程序使用了大量的堆外内存,就该增大此配置。
相关文章推荐
- Spark RDD API详解(一) Map和Reduce
- 使用spark和spark mllib进行股票预测
- Spark随谈——开发指南(译)
- Spark,一种快速数据分析替代方案
- Hadoop2.X/YARN环境搭建--CentOS7.0 JDK配置
- Hadoop2.X/YARN环境搭建--CentOS7.0系统配置
- eclipse 开发 spark Streaming wordCount
- Understanding Spark Caching
- ClassNotFoundException:scala.PreDef$
- Windows 下Spark 快速搭建Spark源码阅读环境
- Spark中将对象序列化存储到hdfs
- 使用java代码提交Spark的hive sql任务,run as java application
- Spark机器学习(一) -- Machine Learning Library (MLlib)
- Spark机器学习(二) 局部向量 Local-- Data Types - MLlib
- Spark机器学习(三) Labeled point-- Data Types
- Killing container
- hadoop2.7.1环境搭建
- YARN或将成为Hadoop新发力点
- Spark初探
- Spark Streaming初探