CDH集群中maptask的日志文件的位置整理

笨小葱这周写了一个读取hbase中的数据到map中的很简单的mr。然后放到cdh集群中跑了一下，结果出现了一系列问题。其中最重要的一个问题竟然是，笨小葱想去找我在mr程序中打的日志，竟然苦苦找不到。所以这里记录下笨小葱从头到尾的一个过程。

1.打包运行mr

这里笨小葱执行 hadoop jar xxx.jar时，报了一个错误:

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
at WordCount.main(WordCount.java:43)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

很明显应该是没有引入hbase的所需jar包。所以这里设置环境变量时加入hbase架包：

   HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/lib/hadoop/client/*:/opt/cloudera/parcels/CDH/lib/hbase/lib/*

[xxx@xxxx~]# export HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/lib/hadoop/client/*:/opt/cloudera/parcels/CDH/lib/hbase/lib/*
[xxx@xxxx xxx]$ hadoop jar /home/cctest/hadoopStudy.jar
16/09/09 20:58:21 WARN mapreduce.TableMapReduceUtil: The hbase-prefix-tree module jar containing PrefixTreeCodec is not present.  Continuing without it.
16/09/09 20:58:21 INFO client.RMProxy: Connecting to ResourceManager at xxxxxxxx/xxxxxxxx:8032
16/09/09 20:58:21 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
16/09/09 20:58:26 INFO zookeeper.RecoverableZooKeeper: Process identifier=hconnection-0x2eef906c connecting to ZooKeeper ensemble=localhost:2181
16/09/09 20:58:26 INFO zookeeper.ZooKeeper: Client environment:zookeeper.version=3.4.5-cdh5.7.0--1, built on 03/23/2016 18:30 GMT

好啦，这里mr就跑完啦.现在笨小葱想去看看日志。查了一下cdh的文件目录，列出如下：

. 相关目录 ? /var/log/cloudera-scm-installer : 安装日志目录。

? /var/log/* : 相关日志文件（相关服务的及CM的）。

? /usr/share/cmf/ : 程序安装目录。

? /usr/lib64/cmf/ : Agent程序代码。

? /var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。

? /usr/bin/postgres : 内嵌数据库程序。

? /etc/cloudera-scm-agent/ : agent的配置目录。

? /etc/cloudera-scm-server/ : server的配置目录。

? /opt/cloudera/parcels/ : Hadoop相关服务安装目录。

? /opt/cloudera/parcel-repo/ : 下载的服务软件包数据，数据格式为parcels。

? /opt/cloudera/parcel-cache/ : 下载的服务软件包缓存数据。

? /etc/hadoop/* : 客户端配置文件目录。

想看下日志，所以进入到/var/log目录下:

[xxxx@xxxxxx]# ll /var/log/hadoop-yarn/
total 8984
-rw-r--r-- 1 yarn yarn   5447780 Sep  9 20:59 hadoop-cmf-yarn-NODEMANAGER-archive.cloudera.com.log.out
-rw-r--r-- 1 yarn yarn   3733829 Sep  9 20:59 hadoop-cmf-yarn-RESOURCEMANAGER-archive.cloudera.com.log.out
drwxr-xr-x 2 yarn hadoop    4096 Aug 30 09:13 stacks

这里笨小葱一开始以为程序中的日志也会打印在这里面(毕竟太笨了

),找了一下发现压根没有。这下迷茫了，不知道去哪找了。于是就打算去clouder manager的webui中去看看。于是有了下面的查找。











那么问题来了，为什么我刚才在服务器的/var/log下没有看到task中的日志呢。难道在其他地方，经过一番查找，发现了端倪。

yarn.nodemanager.remote-app-log-dir

查看了一下发现，这个属性是配置MR的log位置。并且原来是在hdfs中存储的。

瞬间累觉不爱,于是赶快去看了一下这个属性的值。





进入到hdfs中查看了一下，果然在里面

[xxxxxx]$ hdfs dfs -ls /tmp/logs/hdfs/logs/application_1472623569489_0004
Found 3 items
-rw-r-----   3 hdfs hadoop      51456 2016-09-09 20:59 /tmp/logs/hdfs/logs/application_1472623569489_0004/archive.cloudera.com_8041
-rw-r-----   3 hdfs hadoop      71224 2016-09-09 20:59 /tmp/logs/hdfs/logs/application_1472623569489_0004/slave01_8041
-rw-r-----   3 hdfs hadoop       6007 2016-09-09 20:59 /tmp/logs/hdfs/logs/application_1472623569489_0004/slave02_8041

这里三个文件，分别是Maptask,redurceTask对应的log文件，程序中的日志也在这里。

哎，不容易，终于找到他了。被自己笨哭。。。。。