jobhistoryserver 配置

 

hadoop

hadoop1.x之前的版本中可以开启50030端口,查看历史作业的运行日志,包括mr日志和自定义日志,但是hadoop2.x 是用MRv2(yarn)作为作业运行服务,代替50030端口的是一个jobhistory服务.jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS目录下，默认情况下是没有启动的，需要配置完后手工启动服务。
 

编辑mapred-site.xml文件:

 

<property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

<description>MapReduce
JobHistory Server IPC host:port</description>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

<description>MapReduce
JobHistory Server Web UI host:port</description>

</property>

 

启动history-server:

 

$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh
start historyserver

 

停止history-server:

 

$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh
stop historyserver

服务启动之后，可以通过浏览器访问WEBUI: master:19888,会在hdfs上会生成两个目录:
 

[user@nn
~]$ hadoop fs -ls /tmp/hadoop-yarn/staging/history

15/02/11
09:56:03 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Found
2 items

drwxrwx---
- hadoop supergroup 0 2015-02-10 15:44 /tmp/hadoop-yarn/staging/history/done

drwxrwxrwt
- hadoop supergroup 0 2015-02-04 16:04 /tmp/hadoop-yarn/staging/history/done_intermediate

默认省略jobhistory存放目录实在hdfs上的:/tmp/hadoop-yarn/staging/history 路径下生成两个目录done(已经完成的作业的历史信息目录)和done_intermediate(正在运行的作业的信息目录)两个目录
可以在mapred-site.xml文件中继续添加属性:
 

<property>

<name>mapreduce.jobhistory.done-dir</name>

<value>/job/history/done</value>

</property>

<property>

<name>mapreduce.jobhistory.intermediate-done-dir</name>

<value>/job/history/done_intermediate</value>

 

</property>

修改后重启jobhistory服务即可生效,此时如果之前已经运行过job任务,则可以在19888端口下可以看到历史的job列表.但是点击一个具体任务时,本人测试看不到以往运行job的详细日志信息,需要重新开启一个测试任务:例如运行一个workcount任务,之后可以在19888端口看到wordcount的job条目
本人 点击箭头出的任务,如下图:


当yarn-site.xml



 

 danruguo chuxian Aggregation is not enabled. Try the nodemanager
at ......的提示时,需要在yarn-site.xml文件中添加属性:

<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

点击workcount进入二级页然后重启yarn:start/stop-yarn.sh,重启jobhistory服务即可