hadoop入门-Mapreduce程序相关日志
2016-12-11 17:39
489 查看
一、mapreduce的日志分为历史作业日志和Container日志。
1、历史作业日志包含了一个作业用了多少个Map、用了多少个Reduce、作业的提交时间、作业的启动时间、作业的完成时间等信息。
2、Container日志包含ApplicationMaster日志和普通Task日志,日志的目录是在/logs/userlogs，如下图所示
从这里我们可以看到输出的日志，定位相关错误。
3、历史作业记录是在/tmp/hadoop-yarn/staging如下图所示
1、历史作业日志包含了一个作业用了多少个Map、用了多少个Reduce、作业的提交时间、作业的启动时间、作业的完成时间等信息。
2、Container日志包含ApplicationMaster日志和普通Task日志,日志的目录是在/logs/userlogs，如下图所示
从这里我们可以看到输出的日志，定位相关错误。
3、历史作业记录是在/tmp/hadoop-yarn/staging如下图所示
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 企业级Hadoop 2.x入门系列之十MapReduce 程序相关日志
- Hadoop初级入门 MapReduce程序执行集群执行(续)
- Hadoop 中文编码相关问题 -- mapreduce程序处理GBK编码数据并输出GBK编码数据（转）
- hadoop编程入门学习笔记-3 开发MapReduce程序
- Hadoop教程（三）：HDFS、MapReduce、程序入门实践
- Hadoop 中文编码相关问题 -- mapreduce程序处理GBK编码数据并输出GBK编码数据
- Hadoop 中文编码相关问题 -- mapreduce程序处理GBK编码数据并输出GBK编码数据
- Hadoop-03-第二个MapReduce程序--模拟分析购物日志
- (HADOOP入门)mapreduce入门程序wordcount旧版API
- Hadoop基础教程-第6章 MapReduce入门（6.4 MapReduce程序框架）（草稿）
- 知识学习——Hadoop MapReduce开发入门程序WordCount详解
- Hadoop教程（三）：HDFS、MapReduce、程序入门实践
- hadoop mapreduce 程序调试日志合并查看shell
- Hadoop初级入门 MapReduce程序执行集群执行
- Hadoop 中文编码相关问题 -- mapreduce程序处理GBK编码数据并输出GBK编码数据
- Hadoop示例程序之单词统计MapReduce
- 用PHP写hadoop的mapreduce程序
- hadoop MapReduce程序 不包含Reduce的设置
- 如何使用Python为Hadoop编写一个简单的MapReduce程序
- 近200篇云计算、虚拟化、Hadoop、MapReduce、HDFS等云计算相关资料整理下载