Hadoop配置常见Log错误指导
2014-11-24 10:52
1246 查看
Master节点Log篇
1. WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/mywind/name should be specified as a URI in configuration files. Please update hdfs configuration.
问题定位:hdfs-site.xml
问题原因:
1) 不合规范的URI格式
解决办法:
1) 把dfs.namenode.name.dir、dfs.datanode.data.dir的原路径格式如/usr/mywind/name改成file:/usr/mywind/name,即使用完全路径。
2. INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 9000, call org.apache.hadoop.hdfs.protocol.ClientProtocol.addBlock from 192.168.8.184:39050 Call#6 Retry#0 java.io.IOException: File /hbase/.tmp/hbase.version could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.
问题定位:datanode
问题原因:
1) datanode没有启动
解决办法:
1) 去Slave节点查看Log,排除错误,确保datanode正确启动起来(可通过jps命令查看启动状态)。
3. WARN org.apache.hadoop.hdfs.server.common.Storage: Storage directory /mywind/name does not exist 2014-11-24 08:19:02,555 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /mywind/name is in an inconsistent state: storage directory does not exist or is not accessible.
问题定位:hdfs-site.xml
问题原因:
1) 错误的URI格式
解决办法:
1) 把dfs.namenode.name.dir、dfs.datanode.data.dir的原路径格式如file://usr/mywind/name改成file:/usr/mywind/name,即使用完全路径。
Slave节点Log篇
4. WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/mywind/data should be specified as a URI in configuration files. Please update hdfs configuration.
问题定位:hdfs-site.xml
问题原因:
1) 不合规范的URI格式
解决办法:
2) 把dfs.namenode.name.dir、dfs.datanode.data.dir的原路径格式如/usr/mywind/name改成file:/usr/mywind/name,即使用完全路径。
5. WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: slave1.mywind.com.cn/192.168.8.183:9000
问题定位:core-site.xml
问题原因:
1) 不正确的HDFS地址
2) Master节点或者Slave节点防火墙没有关闭
解决办法:
1) 把core-site.xml中的fs.defaultFS的value的IP或域名改成主节点的IP地址或域名。
2) 使用telnet master 9000命令测试一下主节点的端口是否可以连接,如果不可以连接,则可能是主节点或者从节点的防火墙启用了,需要把它关闭。
6. FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to master/192.168.8.184:9000. Exiting. java.io.IOException: Incompatible clusterIDs in /usr/mywind/data: namenode clusterID = CID-e6addb58-7fe2-47ea-9592-0033053a90f9; datanode clusterID = CID-d5961300-954e-4860-96b5-95b2b9634b77
问题定位:所有namenode目录、所有datanode目录、从节点临时目录
问题原因:
1) 主节点的namenode clusterID与从节点的datanode clusterID不一致
2) 多次格式化了namenode跟datanode之后的结果,格式化之后从节点生成了新的ID,造成不一致
解决办法:
1) 在格式化之前,先把所有的服务停掉(stop-dfs.sh、stop-yarn.sh或者stop-all.sh),确保都停掉了之后,分别到所有节点的namenode目录、datanode目录、临时目录,把以上目录里面的所有内容都删除掉。然后再重新启动就可以了。
1. WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/mywind/name should be specified as a URI in configuration files. Please update hdfs configuration.
问题定位:hdfs-site.xml
问题原因:
1) 不合规范的URI格式
解决办法:
1) 把dfs.namenode.name.dir、dfs.datanode.data.dir的原路径格式如/usr/mywind/name改成file:/usr/mywind/name,即使用完全路径。
2. INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 9000, call org.apache.hadoop.hdfs.protocol.ClientProtocol.addBlock from 192.168.8.184:39050 Call#6 Retry#0 java.io.IOException: File /hbase/.tmp/hbase.version could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.
问题定位:datanode
问题原因:
1) datanode没有启动
解决办法:
1) 去Slave节点查看Log,排除错误,确保datanode正确启动起来(可通过jps命令查看启动状态)。
3. WARN org.apache.hadoop.hdfs.server.common.Storage: Storage directory /mywind/name does not exist 2014-11-24 08:19:02,555 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /mywind/name is in an inconsistent state: storage directory does not exist or is not accessible.
问题定位:hdfs-site.xml
问题原因:
1) 错误的URI格式
解决办法:
1) 把dfs.namenode.name.dir、dfs.datanode.data.dir的原路径格式如file://usr/mywind/name改成file:/usr/mywind/name,即使用完全路径。
Slave节点Log篇
4. WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/mywind/data should be specified as a URI in configuration files. Please update hdfs configuration.
问题定位:hdfs-site.xml
问题原因:
1) 不合规范的URI格式
解决办法:
2) 把dfs.namenode.name.dir、dfs.datanode.data.dir的原路径格式如/usr/mywind/name改成file:/usr/mywind/name,即使用完全路径。
5. WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: slave1.mywind.com.cn/192.168.8.183:9000
问题定位:core-site.xml
问题原因:
1) 不正确的HDFS地址
2) Master节点或者Slave节点防火墙没有关闭
解决办法:
1) 把core-site.xml中的fs.defaultFS的value的IP或域名改成主节点的IP地址或域名。
2) 使用telnet master 9000命令测试一下主节点的端口是否可以连接,如果不可以连接,则可能是主节点或者从节点的防火墙启用了,需要把它关闭。
6. FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to master/192.168.8.184:9000. Exiting. java.io.IOException: Incompatible clusterIDs in /usr/mywind/data: namenode clusterID = CID-e6addb58-7fe2-47ea-9592-0033053a90f9; datanode clusterID = CID-d5961300-954e-4860-96b5-95b2b9634b77
问题定位:所有namenode目录、所有datanode目录、从节点临时目录
问题原因:
1) 主节点的namenode clusterID与从节点的datanode clusterID不一致
2) 多次格式化了namenode跟datanode之后的结果,格式化之后从节点生成了新的ID,造成不一致
解决办法:
1) 在格式化之前,先把所有的服务停掉(stop-dfs.sh、stop-yarn.sh或者stop-all.sh),确保都停掉了之后,分别到所有节点的namenode目录、datanode目录、临时目录,把以上目录里面的所有内容都删除掉。然后再重新启动就可以了。
相关文章推荐
- Ubuntu Hadoop 单机/伪分布式安装配置资料梳理及常见错误处理
- hadoop-HA集群搭建,启动DataNode,检测启动状态,执行HDFS命令,启动YARN,HDFS权限配置,C++客户端编程,常见错误
- Hadoop - Mac OSX下配置和启动hadoop以及常见错误解决
- Hadoop2.X中Mapreduce,YARN等配置,启动和常见错误解决办法
- hadoop配置常见错误及解决办法
- Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误
- Hadoop - Mac OSX下配置和启动hadoop以及常见错误解决
- Hadoop完全分布式配置及常见错误集合
- Hadoop完全分布式配置及常见错误集合
- Jbuilder开发环境配置连接池常见错误及解决
- 在SSIS中,使用“包配置”时的常见错误与解析
- fedora9下嵌入式开发环境之NFS服务器的配置及常见错误的解决
- Tomcat配置连接池常见错误及解决
- linux 网络配置常见错误其解方法
- jacob配置方法及两个常见错误解决
- 安装程序配置服务器失败。参考服务器错误日志和C:/WINDOWS/sqlstp.log
- Oracle数据库的网络连接配置以及一些常见错误信息解决方法
- Eclipse环境变量配置、插件安装、常见错误
- DirectShow环境配置及常见错误解决方案
- 详解LCS2005标准版部署、客户端配置以及常见错误的纠正方法 推荐