datanode启动后,在web50070port发现不到datanode节点(能力工场)
2016-01-31 10:58
706 查看
直接上问题:这两天为了试验,安装了两套集群:
(1)32位hadoop1集群(5个节点);
(2)64位hadoop2集群(6个节点)
两个集群中都遇到过这种问题:在namenode正常启动hadoop集群后,查看datanode是正常的显示存在进程,可是在web界面中查看的时候,发现数据节点所有属于宕机,或者就是干脆直接没有datanode.还有种情况,datanode启动后,jps查看是在的,可是一会再去查看,发现挂掉了.还有就是,存储空间显示占用100%
事实上这两个集群问题是一样的,都是因为我自己在格式化namenode之后,没有去删除主从节点上面的用于保存数据的目录(即dfs.name.dir配置的路径下的文件),导致内部namenode存在的关于文件系统的元信息和数据节点相应不上造成的.
解决方法:
删除掉各个节点上面的tmp(可能与我设置的路径和文件不同,相应你自己在hdfs-site.xml中设置的dfs.name.dir路径就好了),然后格式化集群,最后重新启动集群,问题搞定了.
(1)32位hadoop1集群(5个节点);
(2)64位hadoop2集群(6个节点)
两个集群中都遇到过这种问题:在namenode正常启动hadoop集群后,查看datanode是正常的显示存在进程,可是在web界面中查看的时候,发现数据节点所有属于宕机,或者就是干脆直接没有datanode.还有种情况,datanode启动后,jps查看是在的,可是一会再去查看,发现挂掉了.还有就是,存储空间显示占用100%
事实上这两个集群问题是一样的,都是因为我自己在格式化namenode之后,没有去删除主从节点上面的用于保存数据的目录(即dfs.name.dir配置的路径下的文件),导致内部namenode存在的关于文件系统的元信息和数据节点相应不上造成的.
解决方法:
删除掉各个节点上面的tmp(可能与我设置的路径和文件不同,相应你自己在hdfs-site.xml中设置的dfs.name.dir路径就好了),然后格式化集群,最后重新启动集群,问题搞定了.
相关文章推荐
- nodejs---常用npm命令
- nodejs---常用npm命令
- github+hexo+node.js搭建个人博客基本过程及遇到的问题
- github+hexo+node.js搭建个人博客基本过程及遇到的问题
- Insert a node in a sorted linked list.
- ActiveMQ + NodeJS + Stomp 极简入门
- ActiveMQ + NodeJS + Stomp 极简入门
- ActiveMQ + NodeJS + Stomp 极简入门
- NodeJS API简介
- leetcode19.Remove Nth Node From End of List
- NameNode启动过程详细剖析
- NameNode启动过程
- LeetCode——Populating Next Right Pointers in Each Node II
- Node.js与io.js那些事儿
- Delete Node in a Linked List
- Java DOM 处理XML时调用getChildNodes函数,子节点个数问题
- Node.js系列基础学习----安装,实现Hello World, REPL
- zookeeper web ui-->node-zk-browser安装
- Node.js 入门初探
- 前端工程师使用node.js打造日记社区教程之三