hadoop的Jobid
2011-11-05 19:05
423 查看
在hadoop的任务job中,jobid是标志一个任务的唯一标志,可以用于定位到该job,查询该job相关信息,kill掉该job 。
jobId是如何生成的呢 ?
在一般的服务集群上我们通过JobTracker来管理job,该id既是通过JobTracke的getNewJobId()方法得到,具体代码如下:
代码二:
作业分成任务执行,任务号TaskID包含了它所属的作业ID,同时也有任务ID,同时还保持了这是否是一个Map任务(成员变量isMap)。任务号的字符串表示为task_<jobtrackerID>_<jobNumber>_[m|r]_<taskNumber>,如task_200707121733_0003_m_000005表示作业200707121733_0003的000005号任务,改任务是一个Map任务,同样,reduce任务中间是_r_....
。
一个任务有可能有多个执行(错误恢复/消除Stragglers等),所以必须区分任务的多个执行,这是通过类TaskAttemptID来完成,它在任务号的基础上添加了尝试号。一个任务尝试号的例子是attempt_200707121733_0003_m_000005_0,它是任务task_200707121733_0003_m_000005的第0号尝试。
jobId是如何生成的呢 ?
在一般的服务集群上我们通过JobTracker来管理job,该id既是通过JobTracke的getNewJobId()方法得到,具体代码如下:
public synchronized JobID getNewJobId() throws IOException { ensureRunning(); return new JobID(getTrackerIdentifier(), nextJobId++); }
代码二:
/** * Get the unique identifier (ie. timestamp) of this job tracker start. * @return a string with a unique identifier */ public String getTrackerIdentifier() { return trackerIdentifier; }
trackerIdentifier 和 nextJobId均是JobTracker的内部变量 。 trackerIdentifier 是固定的JobTracker启动(实例化)时就确定的,代码如下: SimpleDateFormat dateFormat = new SimpleDateFormat("yyyyMMddHHmm"); trackerIdentifier = dateFormat.format(new Date()); 是启动时的时间戳 。 nextJobId是启动时赋值1,没执行一次该方法则nextJobId值+1 。 所以job即是:job_JobTracker启动时间戳_该JobTracker生成的顺序的一个id ,该id也叫做iobtracker的id。 JobID是系统分配给作业的唯一标识符,它的toString结果是job_<jobtrackerID>_<jobNumber>。例子:job_200707121733_0003表明这是jobtracker200707121733 (利用jobtracker的开始时间作为ID)的第3号作业。
作业分成任务执行,任务号TaskID包含了它所属的作业ID,同时也有任务ID,同时还保持了这是否是一个Map任务(成员变量isMap)。任务号的字符串表示为task_<jobtrackerID>_<jobNumber>_[m|r]_<taskNumber>,如task_200707121733_0003_m_000005表示作业200707121733_0003的000005号任务,改任务是一个Map任务,同样,reduce任务中间是_r_....
。
一个任务有可能有多个执行(错误恢复/消除Stragglers等),所以必须区分任务的多个执行,这是通过类TaskAttemptID来完成,它在任务号的基础上添加了尝试号。一个任务尝试号的例子是attempt_200707121733_0003_m_000005_0,它是任务task_200707121733_0003_m_000005的第0号尝试。
相关文章推荐
- 输出、状态-hadoop源码TaskAttemptID TaskTrackerAction JobTracker,FileOutputCommitter相关-by小雨
- 转帖-hadoop的JobId TaskId生成规则
- .在重新部署了oozie-site.xml之后,不能够寻找到工作流作业对应的hadoop jobid
- hadoop的Jobid
- hadoop的Jobid
- 转帖-hadoop的JobId TaskId生成规则
- Hadoop源码解析之如何获取JobId
- Hadoop总结篇之三---一个Job到底被提交到哪去了
- SQL SERVER 2005删除维护作业报错:The DELETE statement conflicted with the REFERENCE constraint "FK_subplan_job_id"
- Hadoop平台作业参数设置关于mapreduce.job.split.metainfo.maxsize的说明
- hadoop配置 - ssh-copy-id with port
- 11.2 Job Seperation causes WARNINGS and ORA-15025 ORA-27041 With Certain Users (文档 ID 1317692.1)
- java.io.IOException: File /home/hadoop/mapred/system/jobtracker.info could only be replicated to 0 n
- Hadoop job性能参数调整
- Hadoop中Yarnrunner里面submit Job以及AM生成 至Job处理过程源码解析
- 方法、hadoop源码之JobQueueTaskScheduler-by小雨
- Hadoop: hadoop.job.ugi
- Hadoop-1.2.1学习之Job创建和提交源代码分析
- Hadoop Family Job Schedule----Azkaban