Hadoop DataNode不能正常工作的原因
2013-07-30 11:00
477 查看
在把Hadoop环境搭建成功,并且也Hadoop的各个组件都正常工作。在重启过几次Hadoop后发现DataNode不能正常工作,打开Hadoop 的后台http://localhost:50030和http://localhost:50070发现Lives Nodes为0.
查看启动datanode的日志信息:
org.apache.hadoop.ipc.Client: Retryingconnect to server: uec-fe/16.157.63.10:9000. Already tried 0 time(s).
查看启动NameNode的日志信息:
java.io.IOException:
File xxxxxxxxx/jobtracker.info could only be replicated to 0 nodes, instead of 1
经过查看在core-site.xml中也配置了hadoop.tmp.dir属性:
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
经过网上搜索试过了很多方式都没有用,后来看了一篇文章原来是没有权限的问题
sudo chown -R hadoop /home/hadoop/tmp
然后停止hadoop服务,重新格式化(一般格式化会提醒是否重新格式化该目录,说明该目录存在了,把该删的目录删掉,然后再格式化),最后启动hadoop服务。
总结:
解决该类问题的思路:
1>配置hadoop.tmp.dir属性;
2>修改权限sudo chown -R hadoop /home/hadoop/tmp(hadoop.tmp.dir的值)
最后,可能还有其他原因会导致Hadoop DataNode不能工作,正在积累中。
转载请注明出处:http://blog.csdn.net/johnny901114/article/details/9624873
查看启动datanode的日志信息:
org.apache.hadoop.ipc.Client: Retryingconnect to server: uec-fe/16.157.63.10:9000. Already tried 0 time(s).
查看启动NameNode的日志信息:
java.io.IOException:
File xxxxxxxxx/jobtracker.info could only be replicated to 0 nodes, instead of 1
经过查看在core-site.xml中也配置了hadoop.tmp.dir属性:
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
经过网上搜索试过了很多方式都没有用,后来看了一篇文章原来是没有权限的问题
sudo chown -R hadoop /home/hadoop/tmp
然后停止hadoop服务,重新格式化(一般格式化会提醒是否重新格式化该目录,说明该目录存在了,把该删的目录删掉,然后再格式化),最后启动hadoop服务。
总结:
解决该类问题的思路:
1>配置hadoop.tmp.dir属性;
2>修改权限sudo chown -R hadoop /home/hadoop/tmp(hadoop.tmp.dir的值)
最后,可能还有其他原因会导致Hadoop DataNode不能工作,正在积累中。
转载请注明出处:http://blog.csdn.net/johnny901114/article/details/9624873
相关文章推荐
- Hadoop DataNode不能正常工作的原因
- hadoop中slaves的datanode不能正常启动问题
- Hadoop2.4.1集群启动DataNode 不能正常启动
- hadoop完全分布式搭建datanode无法启动原因
- 关于部分datanode不能正常启动的问题
- Hadoop的namenode的管理机制,工作机制和datanode的工作原理
- jQuery 1.4.2 getJSON() 不能正常工作的原因
- hadoop多次格式化后出现datanode无法正常启动的解决办法
- hadoop伪分布式下 无法启动datanode的原因及解决办法
- 不能启动datanode的原因
- Hadoop中DataNode不能启动的问题
- 在搭建好Hadoop集群后,namenode与datanode两个过程不能起来,或者一个启动之后另一个自动关闭
- hadoop里的hdfs datanode 不能启动的问题
- hadoop中DataNode消失挂掉的原因及解决方法
- hadoop中datanode消失挂掉的原因及解决方法(1)
- hadoop伪分布式下 无法启动datanode的原因及could only be replicated to > 0 nodes, instead of 1的错误
- hadoop文件系统的目录结构及datanode不能启动
- Hadoop中正常启动了datanode但管理界面却却显示0个datanode节点或者只有本机的一个datanade,DFS Used显示0(100%)
- hadoop集群配置datanode无法启动的原因
- hadoop datanode 不能连接 namenode