mr的logs的查看
2016-07-20 11:19
281 查看
在map或者reduce函数中使用System.out.println打印的信息沾满查看呢?
步骤1:启动history server
/usr/local/hadoop-2.6.0/sbin/mr-jobhistory-daemon.sh start historyserver
步骤2:使用http://hadoop26:19888/jobhistory来查看作业log
意外情况:
如果在查看日志的时候,发生了下面的情况
在yarn-default.xml中有这样的一个配置
<property>
<description>Whether to enable log aggregation. Log aggregation collects
each container's logs and moves these logs onto a file-system, for e.g.
HDFS, after the application completes. Users can configure the
"yarn.nodemanager.remote-app-log-dir" and
"yarn.nodemanager.remote-app-log-dir-suffix" properties to determine
where these logs are moved to. Users can access the logs via the
Application Timeline Server.
</description>
<name>yarn.log-aggregation-enable</name>
<value>false</value>
</property>
我们需要把这个值改为true,也就是在yarn-site.xml中再配置一遍
配置完成后重启historyserver即可。
现在来看看logs的输出吧:
步骤1:启动history server
/usr/local/hadoop-2.6.0/sbin/mr-jobhistory-daemon.sh start historyserver
步骤2:使用http://hadoop26:19888/jobhistory来查看作业log
意外情况:
如果在查看日志的时候,发生了下面的情况
在yarn-default.xml中有这样的一个配置
<property>
<description>Whether to enable log aggregation. Log aggregation collects
each container's logs and moves these logs onto a file-system, for e.g.
HDFS, after the application completes. Users can configure the
"yarn.nodemanager.remote-app-log-dir" and
"yarn.nodemanager.remote-app-log-dir-suffix" properties to determine
where these logs are moved to. Users can access the logs via the
Application Timeline Server.
</description>
<name>yarn.log-aggregation-enable</name>
<value>false</value>
</property>
我们需要把这个值改为true,也就是在yarn-site.xml中再配置一遍
配置完成后重启historyserver即可。
现在来看看logs的输出吧:
相关文章推荐
- 【phantomjs】使用phantomjs生成highChart的图片(待完善)
- 2016 Multi-University Training Contest 1 1001 Abandoned country (最小生成树+DFS)
- 模板使用入门示例
- urllib模块
- TabLayout的简单使用
- leetcode:word-break
- Java程序实现导出Excel的方法(支持IE低版本)
- Spring入门案例 注解方式配置(一)
- uva567
- web前端开发技术文档书写规范
- JQuery根据name属性查找
- 利用过滤器解决GET和POST请求编码问题
- windbg + sos 调试w3wp进程内存崩溃问题
- AWS AutoScaling
- PHP基础面试题
- 走进码农新时代
- IIS优化网站性能(转)
- [乐意黎原创] 使用Selenium webdriver+Firefox浏览器来登录新浪微博
- 读书笔记
- HBase 常用命令