mapreduce任务出错最大尝试次数
2014-05-03 14:25
302 查看
一个任务出现失败时,tasktracker会将此任务的失败信息报告给jobtracker,jobtracker会分配新的节点执行此任务。这种情况下不会影响整个作业的完整执行。但是如果容易任务出现多次失败,且失败次数超出失败的最大指定次数,那么作业会在未完成的情况下被终止。
mapred-site.xml: hadoop1.x: mapred.max.map.attempts mapred.max.reduce.attempts hadoop2.x: <property> <name>mapreduce.reduce.maxattempts</name> <value>4</value> <description>Expert: The maximum number of attempts per reduce task. In other words, framework will try to execute a reduce task these many number of times before giving up on it. </description> </property> <property> <name>mapreduce.map.maxattempts</name> <value>4</value> <description>Expert: The maximum number of attempts per map task. In other words, framework will try to execute a map task these many number of times before giving up on it. </description> </property>
相关文章推荐
- mapreduce任务出错最大尝试次数
- 格式化程序尝试对消息反序列化时引发异常: 尝试对参数 http://tempuri.org/ 进行反序列化时出错: GetLzdtArticleResult。InnerException 消息是“反序列化对象 属于类型 lzdt.DTO.Dtolzdt[] 时出现错误。读取 XML 数据时,超出最大
- 一次任务的实践,解决每秒最大并发次数的问题 -- 生产者消费者模式
- 题目——求一个二进制串中连续的1或连续的0出现的最大次数
- Hadoop学习笔记(老版本,YARN之前),MapReduce任务Namenode DataNode Jobtracker Tasktracker之间的关系
- MapReduce任务创建和分配流程
- 2014湘潭全国邀请赛I题 Intervals /POJ 3680 / 在限制次数下取有权区间使权最大/小问题(费用流)
- [MapReduce]Top N 任务的mapper
- VS 中NuGet 尝试还原程序包时出错"*"已拥有为"**"定义的依赖项
- hyper-v server 2008 R2 尝试启动选定虚拟机时出错。无法初始化
- 【mobile】安卓图案解锁尝试次数过多导致 要解锁需要GOOGLE账户登录,解决方案
- 第二周 任务五 求两个整数的最小公倍数与最大公约数
- 利用采样器实现mapreduce任务输出全排序
- 无法连接 MKS:套接字连接尝试次数太多正在放弃
- 最大,最小值问题,前K个数问题,利用mapreduce解决方案
- C++ 第七周任务2-输入四个数,输出其中最大值
- 第七周任务2 四个数最大值
- C++ 第七周任务-输入4个数,输出最大最小
- 第七周上机任务(求四个数的最大值)
- VS2010 尝试运行项目时出错:无法启动调试