hadoop yarn配置错误修正

hadoop执行log查看IP错误

<property>
<name>yarn.resourcemanager.address</name>
<value>bigdata01:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>bigdata01:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>bigdata01:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>bigdata01:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>bigdata01:8088</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata01</value>
</property>
<span style="color:#ff0000;"> <property>
<name>yarn.nodemanager.hostname</name>
<value>bigdata01</value>
</property>
<property>
<name>yarn.nodemanager.webapp.address</name>
<value>bigdata01:8042</value>
</property></span>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

yarn-site.xml配置文件如果不配置上述红色字体的配置，则图片中标注处默认localhost:8042，则无法进行跳转。
修正后：



配置查看网页地址：http://bigdata01:8088/conf

hadoop job执行完之后：

点击 http://n1.hadoop:19888/jobhistory/attempts/job_1406341693880_0001/r/SUCCESSFUL 出现Aggregation is not enabled. Try the nodemanager at d2.hadoop:42812 错误。



一开始以为是相关的服务没有开启，后来试了好几个都不行。

在网上找到相关资料：

[html] view
plain copy

 





<property>    

    <name>yarn.log-aggregation-enable</name>    

    <value>true</value>    

</property>     

增加以上信息在  yarn-site.xml to enable log aggregation.

yarn是用管理job的调度，然后这个地方需要手动的去开启才可以看到。

uber mode

Hadoop的小作业模式， 数据量小非常节约时间

16/09/07 17:30:03 INFO mapreduce.Job: Job job_1473238699388_0005 running in uber mode : false

将mapreduce.job.ubertask.enable设置为true。