mapreduce出现类似死锁情况
2017-08-11 09:55
1286 查看
MR-------------Error------------------
Reducer preempted to make room for pending map attempts Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container exited with a non-zero
exit code 143
在MR 运行过程中 ,某个mapreduce跑了8个多小时还没跑,看yarn界面,发现map还有一小部分没跑完,没跑完的map全在pending,running中没有,同时reduce在copy阶段把资源全用光,导致map没资源去跑,进而导致reduce一直在copy状态等待。也就是说map需要资源去跑,reduce需要等map全部跑完才能进行下一个阶段,这样就导致相互等待,类似死锁。大约在一个半小时左右,有4个reduce被AppMaster
kill,
被kill的reduce出现日志:Reducer preempted to make room for pending map attempts Container killed by the ApplicationMaster. Container killed on
request. Exit code is 143 Container exited with a non-zero exit code 143。这就是说当资源不够是,AppMaster会kill掉reduce释放资源给map。解决办法是调整mapreduce.job.reduce.slowstart.completedmaps参数,默认为0.05,即map完成0.05后reduce就开始copy,如果集群资源不够,有可能导致reduce把资源全抢光,可以把这个参数调整到0.8,map完成80%后才开始reduce
copy。
Reducer preempted to make room for pending map attempts Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container exited with a non-zero
exit code 143
在MR 运行过程中 ,某个mapreduce跑了8个多小时还没跑,看yarn界面,发现map还有一小部分没跑完,没跑完的map全在pending,running中没有,同时reduce在copy阶段把资源全用光,导致map没资源去跑,进而导致reduce一直在copy状态等待。也就是说map需要资源去跑,reduce需要等map全部跑完才能进行下一个阶段,这样就导致相互等待,类似死锁。大约在一个半小时左右,有4个reduce被AppMaster
kill,
被kill的reduce出现日志:Reducer preempted to make room for pending map attempts Container killed by the ApplicationMaster. Container killed on
request. Exit code is 143 Container exited with a non-zero exit code 143。这就是说当资源不够是,AppMaster会kill掉reduce释放资源给map。解决办法是调整mapreduce.job.reduce.slowstart.completedmaps参数,默认为0.05,即map完成0.05后reduce就开始copy,如果集群资源不够,有可能导致reduce把资源全抢光,可以把这个参数调整到0.8,map完成80%后才开始reduce
copy。
相关文章推荐
- mapreduce出现类似死锁情况
- oracle出现死锁情况
- 关于oracle 出现类似自动授权的情况
- ActiveMQ多个消费者进程,出现类似死锁阻塞 源于 .receive(1000)
- 使用ADO EXTENSION榜定数据表之后,在读数据时出现类似"屯屯屯屯屯屯屯屯屯屯屯屯屯屯屯"的情况
- MySQL出现死锁情况
- 数据库偶然出现死锁(等待锁超时)的情况处理:
- MYSQL数据库表出现死锁的情况,调查哪句sql死锁
- Angular\Vue解决页面数据加载时出现{{message}}闪烁的情况
- USB鼠标经常出现不能用的情况——解决方法
- sql server中高并发情况下 同时执行select和update语句死锁问题 (二)
- 解决InputStream.read读取数据出现丢失的情况
- 驱动测试时出现can't open 的一种情况
- dell C110安装CenOS6.4出现在欢迎界面止住的情况
- 关于MyEclipse导入工程或者引入第三方JS库时出现异常情况的解决方案!
- 尝试加载 Oracle 客户端库时引发 BadImageFormatException。如果在安装 32 位 Oracle 客户端组件的情况下以 64 位模式运行,将出现此问题。
- WT588D播放合成语音时出现某些语句不能正常播报的情况,经过对比其他语句,看似有点不符合逻辑。
- Linux gedit 打开文本 出现乱码情况
- c中用malloc申请内存时出现两种不确定值的情况
- c++多线程之死锁的发生的情况解析(包含两个归纳,6个示例)