hadoop源码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置
2014-05-22 15:49
686 查看
点击browserFilesystem,和命令查看结果一样
![](https://img-blog.csdn.net/20140522150744062?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbmVlZGthbmU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
当我们查看hadoop源码时,我们看到hdfs下的hdfs-default.xml文件信息
![](https://img-blog.csdn.net/20140522151757265?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbmVlZGthbmU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
我们查找${hadoop.tmp.dir}这是引用变量,肯定在其他文件有定义,在core-default.xml中查看到,这两个配置文件有个共同点:
就是不要修改此文件,但可以复制信息到core-site.xml和hdfs-site.xml中修改
![](https://img-blog.csdn.net/20140522152049484?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbmVlZGthbmU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
usr/local/hadoop 是我存放hadoop文件夹的地方
![](https://img-blog.csdn.net/20140522152348828?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbmVlZGthbmU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
几个关于namenode的重要文件
![](https://img-blog.csdn.net/20140522152504687?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbmVlZGthbmU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
这里的in_use.lock本身没什么东西,但是它标记着这个namenode被使用,不准其他进程调用
current下存放了重要信息,尤其是fsimage,是namenode核心信息
![](https://img-blog.csdn.net/20140522154110359?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbmVlZGthbmU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
edits用于事务处理
![](https://img-blog.csdn.net/20140522154414140?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbmVlZGthbmU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
HA措施之一就是备份多个文件信息,可以用逗号隔开多个目录保存,注:不能在hdfs-default.xml中直接修改,而应该复制到hdfs-site下修改
![](https://img-blog.csdn.net/20140522154520171?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbmVlZGthbmU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
dfs下的data文件决定datanode存储位置
![](https://img-blog.csdn.net/20140522154757343?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbmVlZGthbmU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
HA措施之二:secondary用于辅助namenode,合并edits到fsimage。从secondary恢复数据可能存在部分丢失(类似windows备份点),但我认为这里的信息可能储存到了硬盘,而namenode储存的信息可能还包括内存中的信息
![](https://img-blog.csdn.net/20140522151445734?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbmVlZGthbmU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
HA措施之三:replication,在配置文件中设置副本个数,存在不同datanode上
当我们查看hadoop源码时,我们看到hdfs下的hdfs-default.xml文件信息
我们查找${hadoop.tmp.dir}这是引用变量,肯定在其他文件有定义,在core-default.xml中查看到,这两个配置文件有个共同点:
就是不要修改此文件,但可以复制信息到core-site.xml和hdfs-site.xml中修改
usr/local/hadoop 是我存放hadoop文件夹的地方
几个关于namenode的重要文件
这里的in_use.lock本身没什么东西,但是它标记着这个namenode被使用,不准其他进程调用
current下存放了重要信息,尤其是fsimage,是namenode核心信息
edits用于事务处理
HA措施之一就是备份多个文件信息,可以用逗号隔开多个目录保存,注:不能在hdfs-default.xml中直接修改,而应该复制到hdfs-site下修改
dfs下的data文件决定datanode存储位置
HA措施之二:secondary用于辅助namenode,合并edits到fsimage。从secondary恢复数据可能存在部分丢失(类似windows备份点),但我认为这里的信息可能储存到了硬盘,而namenode储存的信息可能还包括内存中的信息
HA措施之三:replication,在配置文件中设置副本个数,存在不同datanode上
相关文章推荐
- hadoop源代码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置
- hadoop源代码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置
- hadoop web查看集群datanode 信息不全
- Hadoop中NameNode、DataNode和Client三者之间的通信方式是什么?怎样进行合作?
- hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍
- hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍
- [Hadoop异常处理] Namenode和Datanode都正常启动,但是web页面不显示
- Hadoop中NameNode、DataNode和Client三者之间的通信方式是什么?怎样进行合作?
- hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍
- Hadoop总结一:基础知识-Namenode,Datanode(非HA高可用性配置)
- Hadoop源码分析之读文件时NameNode和DataNode的处理过程
- hadoop 源码中NameNode与DataNode主要的类目录
- Hadoop源码学习笔记(5) ——回顾DataNode和NameNode的类结构
- hadoop 在搭建分布式时遇到DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法
- Hadoop-datanode存储结构及源码分析<转>
- hadoop HA 集群启动发现现datanode没有启动,namenode clusterID与datanode clusterID不兼容,不匹配。
- 【hadoop】DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法
- Hadoop源码分析之读文件时NameNode和DataNode的处理过程
- 【hadoop】DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法
- hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍