CDH集群中maptask的日志文件的位置整理
2017-09-28 14:04
369 查看
笨小葱这周写了一个读取hbase中的数据到map中的很简单的mr。然后放到cdh集群中跑了一下,结果出现了一系列问题。其中最重要的一个问题竟然是,笨小葱想去找我在mr程序中打的日志,竟然苦苦找不到。所以这里记录下笨小葱从头到尾的一个过程。
1.打包运行mr
这里笨小葱执行 hadoop jar xxx.jar时,报了一个错误:
[java] view
plain copy
print?
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
at WordCount.main(WordCount.java:43)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
很明显应该是没有引入hbase的所需jar包。所以这里设置环境变量时加入hbase架包:
HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/lib/hadoop/client/*:/opt/cloudera/parcels/CDH/lib/hbase/lib/*
[java] view
plain copy
print?
[xxx@xxxx~]# export HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/lib/hadoop/client/*:/opt/cloudera/parcels/CDH/lib/hbase/lib/*
[xxx@xxxx xxx]$ hadoop jar /home/cctest/hadoopStudy.jar
16/09/09 20:58:21 WARN mapreduce.TableMapReduceUtil: The hbase-prefix-tree module jar containing PrefixTreeCodec is not present. Continuing without it.
16/09/09 20:58:21 INFO client.RMProxy: Connecting to ResourceManager at xxxxxxxx/xxxxxxxx:8032
16/09/09 20:58:21 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
16/09/09 20:58:26 INFO zookeeper.RecoverableZooKeeper: Process identifier=hconnection-0x2eef906c connecting to ZooKeeper ensemble=localhost:2181
16/09/09 20:58:26 INFO zookeeper.ZooKeeper: Client environment:zookeeper.version=3.4.5-cdh5.7.0--1, built on 03/23/2016 18:30 GMT
好啦,这里mr就跑完啦.现在笨小葱想去看看日志。查了一下cdh的文件目录,列出如下:
. 相关目录 ? /var/log/cloudera-scm-installer : 安装日志目录。
? /var/log/* : 相关日志文件(相关服务的及CM的)。
? /usr/share/cmf/ : 程序安装目录。
? /usr/lib64/cmf/ : Agent程序代码。
? /var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。
? /usr/bin/postgres : 内嵌数据库程序。
? /etc/cloudera-scm-agent/ : agent的配置目录。
? /etc/cloudera-scm-server/ : server的配置目录。
? /opt/cloudera/parcels/ : Hadoop相关服务安装目录。
? /opt/cloudera/parcel-repo/ : 下载的服务软件包数据,数据格式为parcels。
? /opt/cloudera/parcel-cache/ : 下载的服务软件包缓存数据。
? /etc/hadoop/* : 客户端配置文件目录。
想看下日志,所以进入到/var/log目录下:
[java] view
plain copy
print?
[xxxx@xxxxxx]# ll /var/log/hadoop-yarn/
total 8984
-rw-r--r-- 1 yarn yarn 5447780 Sep 9 20:59 hadoop-cmf-yarn-NODEMANAGER-archive.cloudera.com.log.out
-rw-r--r-- 1 yarn yarn 3733829 Sep 9 20:59 hadoop-cmf-yarn-RESOURCEMANAGER-archive.cloudera.com.log.out
drwxr-xr-x 2 yarn hadoop 4096 Aug 30 09:13 stacks
这里笨小葱一开始以为程序中的日志也会打印在这里面(毕竟太笨了
),找了一下发现压根没有。这下迷茫了,不知道去哪找了。于是就打算去clouder manager的webui中去看看。于是有了下面的查找。
那么问题来了,为什么我刚才在服务器的/var/log下没有看到task中的日志呢。难道在其他地方,经过一番查找,发现了端倪。
瞬间累觉不爱,于是赶快去看了一下这个属性的值。
进入到hdfs中查看了一下,果然在里面
[java] view
plain copy
print?
[xxxxxx]$ hdfs dfs -ls /tmp/logs/hdfs/logs/application_1472623569489_0004
Found 3 items
-rw-r----- 3 hdfs hadoop 51456 2016-09-09 20:59 /tmp/logs/hdfs/logs/application_1472623569489_0004/archive.cloudera.com_8041
-rw-r----- 3 hdfs hadoop 71224 2016-09-09 20:59 /tmp/logs/hdfs/logs/application_1472623569489_0004/slave01_8041
-rw-r----- 3 hdfs hadoop 6007 2016-09-09 20:59 /tmp/logs/hdfs/logs/application_1472623569489_0004/slave02_8041
这里三个文件,分别是Maptask,redurceTask对应的log文件,程序中的日志也在这里。
哎,不容易,终于找到他了。被自己笨哭。。。。。
顶0
踩0
上一篇IDEA远程调试Hadoop步骤及出错解决整理
下一篇es与其他服务(hbase,spark,hive)jar包冲突时如何定位冲突包
相关文章推荐
• JDBC连接Hive(包括Maven配置和本地jar配置)
• 自然语言处理在“天猫精灵”的实践应用--姜飞俊
• hbase的export以及import工具使用练习
• 蚂蜂窝大数据平台架构及Druid引擎实践--汪木铃
• CDH5.4
hadoop 修改日志默认路径
• Retrofit
从入门封装到源码解析
• CDH
维护日志,集群查看
• 程序员如何转型AI工程师
• 关于CDH和Cloudera
Manager
• 深入探究Linux/VxWorks的设备树
• hadoop
日志存放位置总结
• 使用QEMU搭建u-boot+Linux+NFS嵌入式开发环境
• CDH5
Hadoop集群完全离线安装步骤总结
• CDH集群nodemanager启动不了
• CDH集群中maptask的日志文件的位置整理
• hadoop集群中的日志文件
1.打包运行mr
这里笨小葱执行 hadoop jar xxx.jar时,报了一个错误:
[java] view
plain copy
print?
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
at WordCount.main(WordCount.java:43)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
很明显应该是没有引入hbase的所需jar包。所以这里设置环境变量时加入hbase架包:
HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/lib/hadoop/client/*:/opt/cloudera/parcels/CDH/lib/hbase/lib/*
[java] view
plain copy
print?
[xxx@xxxx~]# export HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/lib/hadoop/client/*:/opt/cloudera/parcels/CDH/lib/hbase/lib/*
[xxx@xxxx xxx]$ hadoop jar /home/cctest/hadoopStudy.jar
16/09/09 20:58:21 WARN mapreduce.TableMapReduceUtil: The hbase-prefix-tree module jar containing PrefixTreeCodec is not present. Continuing without it.
16/09/09 20:58:21 INFO client.RMProxy: Connecting to ResourceManager at xxxxxxxx/xxxxxxxx:8032
16/09/09 20:58:21 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
16/09/09 20:58:26 INFO zookeeper.RecoverableZooKeeper: Process identifier=hconnection-0x2eef906c connecting to ZooKeeper ensemble=localhost:2181
16/09/09 20:58:26 INFO zookeeper.ZooKeeper: Client environment:zookeeper.version=3.4.5-cdh5.7.0--1, built on 03/23/2016 18:30 GMT
好啦,这里mr就跑完啦.现在笨小葱想去看看日志。查了一下cdh的文件目录,列出如下:
. 相关目录 ? /var/log/cloudera-scm-installer : 安装日志目录。
? /var/log/* : 相关日志文件(相关服务的及CM的)。
? /usr/share/cmf/ : 程序安装目录。
? /usr/lib64/cmf/ : Agent程序代码。
? /var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。
? /usr/bin/postgres : 内嵌数据库程序。
? /etc/cloudera-scm-agent/ : agent的配置目录。
? /etc/cloudera-scm-server/ : server的配置目录。
? /opt/cloudera/parcels/ : Hadoop相关服务安装目录。
? /opt/cloudera/parcel-repo/ : 下载的服务软件包数据,数据格式为parcels。
? /opt/cloudera/parcel-cache/ : 下载的服务软件包缓存数据。
? /etc/hadoop/* : 客户端配置文件目录。
想看下日志,所以进入到/var/log目录下:
[java] view
plain copy
print?
[xxxx@xxxxxx]# ll /var/log/hadoop-yarn/
total 8984
-rw-r--r-- 1 yarn yarn 5447780 Sep 9 20:59 hadoop-cmf-yarn-NODEMANAGER-archive.cloudera.com.log.out
-rw-r--r-- 1 yarn yarn 3733829 Sep 9 20:59 hadoop-cmf-yarn-RESOURCEMANAGER-archive.cloudera.com.log.out
drwxr-xr-x 2 yarn hadoop 4096 Aug 30 09:13 stacks
这里笨小葱一开始以为程序中的日志也会打印在这里面(毕竟太笨了
),找了一下发现压根没有。这下迷茫了,不知道去哪找了。于是就打算去clouder manager的webui中去看看。于是有了下面的查找。
那么问题来了,为什么我刚才在服务器的/var/log下没有看到task中的日志呢。难道在其他地方,经过一番查找,发现了端倪。
yarn.nodemanager.remote-app-log-dir查看了一下发现,这个属性是配置MR的log位置。并且原来是在hdfs中存储的。
瞬间累觉不爱,于是赶快去看了一下这个属性的值。
进入到hdfs中查看了一下,果然在里面
[java] view
plain copy
print?
[xxxxxx]$ hdfs dfs -ls /tmp/logs/hdfs/logs/application_1472623569489_0004
Found 3 items
-rw-r----- 3 hdfs hadoop 51456 2016-09-09 20:59 /tmp/logs/hdfs/logs/application_1472623569489_0004/archive.cloudera.com_8041
-rw-r----- 3 hdfs hadoop 71224 2016-09-09 20:59 /tmp/logs/hdfs/logs/application_1472623569489_0004/slave01_8041
-rw-r----- 3 hdfs hadoop 6007 2016-09-09 20:59 /tmp/logs/hdfs/logs/application_1472623569489_0004/slave02_8041
这里三个文件,分别是Maptask,redurceTask对应的log文件,程序中的日志也在这里。
哎,不容易,终于找到他了。被自己笨哭。。。。。
顶0
踩0
上一篇IDEA远程调试Hadoop步骤及出错解决整理
下一篇es与其他服务(hbase,spark,hive)jar包冲突时如何定位冲突包
相关文章推荐
• JDBC连接Hive(包括Maven配置和本地jar配置)
• 自然语言处理在“天猫精灵”的实践应用--姜飞俊
• hbase的export以及import工具使用练习
• 蚂蜂窝大数据平台架构及Druid引擎实践--汪木铃
• CDH5.4
hadoop 修改日志默认路径
• Retrofit
从入门封装到源码解析
• CDH
维护日志,集群查看
• 程序员如何转型AI工程师
• 关于CDH和Cloudera
Manager
• 深入探究Linux/VxWorks的设备树
• hadoop
日志存放位置总结
• 使用QEMU搭建u-boot+Linux+NFS嵌入式开发环境
• CDH5
Hadoop集群完全离线安装步骤总结
• CDH集群nodemanager启动不了
• CDH集群中maptask的日志文件的位置整理
• hadoop集群中的日志文件
相关文章推荐
- CDH集群中maptask的日志文件的位置整理
- 基于centos7.2最小化环境, cdh manager 及 cdh 集群的部署过程常见问题整理
- oracle参数文件、控制文件、数据文件、日志文件存放位置查看
- IIS7日志文件位置
- hadoop 集群及hbase集群的pid文件存放位置
- Oracle数据库案例整理-Oracle系统运行时故障-alert.log日志文件大小超出限制
- hadoop集群中的日志文件
- cdh集群节点系统文件损坏,重装系统恢复Hdfs数据
- [整理]Android测试日志文件抓取与分析
- 设置Hadoop+Hbase集群pid文件存储位置
- 关于log4j的日志文件保存位置解决方案 (转)
- oracle控制文件,日志文件的一些相关概念整理
- 更改Oracle数据文件、控制文件、日志文件位置
- 关于Rational DOORS Web Access的日志文件存放位置
- SqlServer修改数据库文件及日志文件存放位置
- oracle参数文件、控制文件、数据文件、日志文件存放位置查看
- logback配置日志文件位置
- SQL Server 更改数据/日志文件位置
- hadoop集群中的日志文件
- 查找某个文件在HDFS集群的位置