hadoop搭建中遇到的问题汇总
2016-09-16 16:25
288 查看
1. ssh免密码登录
最优方案推荐:
http://www.ruanyifeng.com/blog/2011/12/ssh_remote_login.html
2. datanode的问题
若出现以下情况:
最近在管理集群时发现明明所有数据节点都已经正常启动了,而通过命令Hadoop dfsadmin -report 显示的 Live datanodes却只有一个。同时,通过web页面查看http://master:50070,在Live
Node那一栏也显示只有一个节点,点击进入该节点查看情况,发现是node1,但诡异的是:这时候点击刷新,刷新后的live node数仍然为1,但却变为了node2,反复刷新会发现不停地在node1和node2之间切换(由于我只有两个datanode,若超过两个说不定会在所有的datanode间切换)
解决方案是:
http://blog.csdn.net/wk51920/article/details/51729460
3. 如何用命令行进行集群检查
hadoop dfsadmin -report
4 对集群进行一些简单的测试 http://blog.csdn.net/ab198604/article/details/8271860
5. hadoop的安全模式
http://blog.csdn.net/hguisu/article/details/7261480
最优方案推荐:
http://www.ruanyifeng.com/blog/2011/12/ssh_remote_login.html
2. datanode的问题
若出现以下情况:
最近在管理集群时发现明明所有数据节点都已经正常启动了,而通过命令Hadoop dfsadmin -report 显示的 Live datanodes却只有一个。同时,通过web页面查看http://master:50070,在Live
Node那一栏也显示只有一个节点,点击进入该节点查看情况,发现是node1,但诡异的是:这时候点击刷新,刷新后的live node数仍然为1,但却变为了node2,反复刷新会发现不停地在node1和node2之间切换(由于我只有两个datanode,若超过两个说不定会在所有的datanode间切换)
解决方案是:
http://blog.csdn.net/wk51920/article/details/51729460
3. 如何用命令行进行集群检查
hadoop dfsadmin -report
4 对集群进行一些简单的测试 http://blog.csdn.net/ab198604/article/details/8271860
5. hadoop的安全模式
http://blog.csdn.net/hguisu/article/details/7261480
相关文章推荐
- hadoop、hbase、hive环境搭建时候遇到的问题汇总
- 搭建hadoop环境遇到的问题
- hadoop环境搭建遇到问题集锦
- WampServer搭建php环境时遇到的问题汇总
- 搭建hadoop伪分布式遇到的一些问题
- ubuntu上搭建eclipse下hadoop-2.7.1集群(全分布式)开发环境遇到的几个问题笔记
- Hadoop环境搭建遇到的问题记解答
- hadoop+hive使用中遇到的有关问题汇总
- WampServer搭建php环境时遇到的问题汇总
- centos下搭建单机和伪分布式hadoop环境-(4)搭建过程中的问题汇总
- Hadoop框架搭建问题汇总
- hadoop 1.x集群搭建及搭建过程遇到的问题总结
- hadoop+hive使用中遇到的问题汇总
- hadoop集群环境安装 遇到的问题汇总
- 最新hexo3和Github搭建个人博客遇到问题和解决方法汇总!
- Hadoop初学者常遇到的问题汇总
- hadoop遇到的问题(汇总)
- hadoop 搭建过程中遇到的问题
- 搭建springMVC+Mybatis的Maven项目过程中遇到的问题汇总。
- Hadoop完全分布式搭建过程中遇到的问题小结