spark streaming应用提交到yarn上一直处于ACCEPTED状态,也未报错
2018-03-21 21:10
1166 查看
原因已经找到,这里做个记录,防止下次再犯类似的错误。
实际上是因为代码中将运行模式设置为本地模式,在提交到yarn上后driver端的代码正常运行,并且也正常运行了很多批次。但由于是本地模式,所以driver不会向resourcemanager申请资源,所以也就不会向rm注册自己,这也就解释了为什么在yarn记录的应用的日志中提示应用未向rm注册。
实际上是因为代码中将运行模式设置为本地模式,在提交到yarn上后driver端的代码正常运行,并且也正常运行了很多批次。但由于是本地模式,所以driver不会向resourcemanager申请资源,所以也就不会向rm注册自己,这也就解释了为什么在yarn记录的应用的日志中提示应用未向rm注册。
相关文章推荐
- 一 spark on yarn cluster模式提交作业,一直处于ACCEPTED状态,改了Client模式后就正常了
- spark on yarn提交任务时一直显示ACCEPTED
- Spark-Streaming状态管理应用优化之路
- spark-client 一直 accepted,无法提交任务,报错Failed to connect to driver at
- spark跑YARN模式或Client模式提交任务不成功(application state: ACCEPTED)
- Spark on yarn 提交应用的方式
- Spark优化之二:集群上运行jar程序,状态一直Accepted且不停止不报错
- Spark Streaming checkpoint 实现状态的恢复实现
- TCP/UDP端口扫描(多线程应用-仅处于理论状态)-java
- Spark On Yarn:提交Spark应用程序到Yarn
- spark 在yarn执行job时一直抱0.0.0.0:8030错误
- SQL Server会话KILL不掉,一直处于KILLED /ROLLBACK状态情形浅析
- 不用试一试的状态去做一个项目。要做就得规规矩矩的做。救火的方式会让你一直处于救火状态。
- online redo log 一直处于active 状态可能原因分析 [zt]
- Spark Cluster与Application中的重要概念以及如何提交应用spark-submit
- 【解决】处于ACCEPTED状态不runnin…
- 长时间运行在yarn上的spark-Streaming作业调优
- 生成者消费者模式,如何避免消费者一直处于饥饿状态
- sparkStreaming提交任务时指定参数
- 安装惠普M1136打印机一直处于“新设备已连接”状态怎么办?