日志分析及几个小技巧
2017-02-16 13:46
218 查看
内容摘自 hadoop实战书籍
如果hadoop安装完后不能运行,可以仔细查看日志信息,日志文件保存在logs文件夹内。
无论是启动,还是以后会经常用到的mapreduce中的每一个job,以及hdfs等相关信息,hadoop具存有日志文件以供分析
例如:
namenode 和 datanade namespaceId 不一致,日志信息为:
java.io.OException: Incompatible namespaceIDs in tmp/dfs/data: namenode namespaceID = 12343; datanode namespaceID=34353
hadoop3.0中是 clusterID
这个问题一般是由于两次货两次一行的格式化naenode造成的,有两种方法解决,第一种方法是删除datanode的所有资料;第二种方法是修改每个datanode的namespaceID。位于 /dfb/data/current/VERSION文件中
或者修改那么弄得的namespaceID,使其一致。
下面这两种方法再实际应用中也可能会用到。
1)重启坏掉的datanaode或者jobtracker,当hadoop集群的某单个节点出现问题是,一般不必重启整个系统,只需启动这个几点,他会自动连入整个集群
在坏死的节点输入如下命令即可:
bin/hadoop-daemon.sh start DataNode
bin/hadoop-daemon.sh start jobtracker
2)动态加入datanode货tasktracker。这个命令允许用户动态将某个节点加入集群中。
/bin/hadoop-daemon.sh --config ./conf start DataNode
bin/hadoop-daemon.sh --config ./conf start tasktracker
如果hadoop安装完后不能运行,可以仔细查看日志信息,日志文件保存在logs文件夹内。
无论是启动,还是以后会经常用到的mapreduce中的每一个job,以及hdfs等相关信息,hadoop具存有日志文件以供分析
例如:
namenode 和 datanade namespaceId 不一致,日志信息为:
java.io.OException: Incompatible namespaceIDs in tmp/dfs/data: namenode namespaceID = 12343; datanode namespaceID=34353
hadoop3.0中是 clusterID
这个问题一般是由于两次货两次一行的格式化naenode造成的,有两种方法解决,第一种方法是删除datanode的所有资料;第二种方法是修改每个datanode的namespaceID。位于 /dfb/data/current/VERSION文件中
或者修改那么弄得的namespaceID,使其一致。
下面这两种方法再实际应用中也可能会用到。
1)重启坏掉的datanaode或者jobtracker,当hadoop集群的某单个节点出现问题是,一般不必重启整个系统,只需启动这个几点,他会自动连入整个集群
在坏死的节点输入如下命令即可:
bin/hadoop-daemon.sh start DataNode
bin/hadoop-daemon.sh start jobtracker
2)动态加入datanode货tasktracker。这个命令允许用户动态将某个节点加入集群中。
/bin/hadoop-daemon.sh --config ./conf start DataNode
bin/hadoop-daemon.sh --config ./conf start tasktracker
相关文章推荐
- aix中的几个小技巧与日志
- 对网络日志分析的几个方面
- 日志分析时用到的几个EXCEL函数
- 几个开源日志分析系统介绍
- Linux下日志分析的几个常用命令
- 用webalizer分析web日志
- FireFox的几个小技巧(提高浏览速度)
- AWStats: Apache/IIS的日志分析工具
- 日志文件分析技巧
- [人生日志]微软的用人标准及自我分析
- DataGrid的几个小技巧
- 小技巧收集日志[转帖]
- 跟踪 session 的执行,分析跟踪日志文件,解决问题的好方法
- [转]Linux日志分析的实战专题
- 用webalizer分析web日志
- 自己用PHP来分析Apache访问日志
- 几个C#编程的小技巧 (一)
- [转]Web服务器日志统计分析完全解决方案
- DataGrid的几个小技巧!
- AWStats: Apache/IIS的日志分析工具