Hadoop集群问题汇总

原则

①.不能随便使用hadoop namenode -format命令，该命令将格式化hdfs，所有数据都将失去。（该命令相当万能，就跟在windows下遇到问题就重装系统一样）

②.

1、NameNode、DataNode迁移问题

问题A、Hadoop集群搭建好之后，默认路径采用的是/tmp，但该文件夹在Linux系统重启的时候会清空，所以需要转移到其他文件夹。

问题B、Hadoop集群搭建好之后，由于公司的服务器命名需要规范化，需要修改主机名。直接修改后，使用Hive的时候发现内部数据查找的时候链接的是原来的主机名。

上面两个问题，分析其本质发现问题A是DataNode迁移，问题B是NameNode迁移。

具体解决方法如下：

Datanode迁移：

①.首先停掉Hadoop集群，然后指定一个新文件夹来保存数据，比如/usr/local/Hadoop/data

②.将/tmp文件夹下的文件都拷贝到新文件夹下

③.修改Hadoop的conf下的core-site.xml文件，将hadoop.tmp.dir修改为新的文件夹（如果你在hdfs-site.xml里面配置了路径，那就修改hdfs-site.xml里面的dfs.data.dir）

NameNode迁移：

①.前面几步和DataNode迁移类似

②.Hive的元数据metadata是用mysql来保存的，链接信息写死在hive数据库的DBS和SBS表里，所以需要手动去mysql中更新这些信息。

update DBS set DB_LOCATION_URI=REPLACE(DB_LOCATION_URI,'old host','new host');

update SDS set LOCATION=REPLACE(LOCATION,'old host','new host');