【异常】SparkStreaming长时间运行出现: Dropping SparkListenerEvent because no remaining room in event queue
2018-01-08 09:49
1001 查看
问题描述
在SparkStreaming任务提交后,经过长时间的运行会在SparkUI的Jobs界面出现Job的执行时间出现几个小时的情况,点进去发现Stage已经处于unkown状态,如下图:查看日志后发现下面ERROR异常:
2018-01-06 16:42:03 [ dag-scheduler-event-loop:600497 ] - [ ERROR ] Dropping SparkListenerEvent because no remaining room in event queue. This likely means one of the SparkListeners is too slow and cannot keep up with the rate at which tasks are being started by the scheduler.
问题分析
搜了一些关于消息队列的文章,在spark的jira中也查找到了相关的bug,确实在2.x版本的spark中存在因为LiveListenerBus消息队列的消息数量设置不当造成的bug,这个bug会影响webui中的展示,也会影响任务状态的判断。终其原因是:当消息队列中的消息数超过其
spark.scheduler.listenerbus.eventqueue.size设置的数量(如果没有设置,默认为10000)时,会将最新的消息移除,这些消息本来是通知任务运行状态的,由于你移除了,状态无法得到更新,所以会出现上面描述的现象
解决方法
在spark-submit提交任务时,指定下面的参数:--conf spark.scheduler.listenerbus.eventqueue.size=100000然后继续提交任务,程序运行两天不再出现上面的问题。
在SparkStreaming的使用中,出现了各种各样的问题,所以最好输出日志,方便出现问题后定位,通过可以过滤掉INFO级别的日志,不然有非常大的日志。
相关文章推荐
- spark streaming 异常No output streams registered, so nothing to execute
- 【异常】SparkStreaming抛出Listener SQLListener threw an exception异常
- 关于eclipse 运行了 maven install后 在tomcat中启动web项目出现classnofind的异常解决方法
- spark程序异常:Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs
- 长时间运行在yarn上的spark-Streaming作业调优
- 关于C++程序运行程序是出现的this application has requested the runtime to terminate it in an unusual way. 异常分析
- 关于C++程序运行程序是出现的this application has requested the runtime to terminate it in an unusual way. 异常分析
- Unity5.4.1与NGUI出现的问题Ignoring menu item NGUI because it is in no submenu!
- 程序运行程序是出现的this application has requested the runtime to terminate it in an unusual way. 异常分析
- Unity5.4.1与NGUI出现的问题Ignoring menu item NGUI because it is in no submenu!
- unity出现Ignoring menu item NGUI because it is in no submenu!
- idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class
- 使用Gevent程序正常运行出现这个异常KeyError(155880780,) in <module 'threading' from '/usr/lib/python2.7/threading.pyc'> ignored解决办法
- 运行J2ME工程时 先出现一个no midlets defined in jad file,continue?
- Unity5.3.6升级到Unity5.4.4 NGUI出现Ignoring menu item NGUI because it is in no submenu!问题解决方案
- 解决 RNI接口调用出现的异常UnsatisfiedLinkError: no jtokyocabinet in java.library.path 及 wrong ELF class: ELFCLASS64问题
- spark运行java-jar:Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs
- Unity5.4.1与NGUI出现的问题Ignoring menu item NGUI because it is in no submenu!
- Spring Boot中使用Feign调用时Hystrix提示异常:"could not be queued for execution and no fallback available."以及"Rejected command because thread-pool queueSize is at rejection threshold"
- 长时间运行在yarn上的spark-Streaming作业调优