hadoop 常见问题+Windows下不能使用hostname的轻松解决

1.

NameNode离开安全模式

bin/hadoop dfsadmin -safemode leave

分布式文件系统启动开始的时候NameNode会进入安全模式，进行检查各个DataNode上数据块的有效性，根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式，此时文件系统中的内容不允许修改，直到安全模式结束。在NameNode操作不当也会进入安全模式，可以通过命令解除

2.

Exception in createBlockOutputStream

java.net.NoRouteToHostException: No route to host

Datanaode节点没有关闭防火墙

3.

Permission denied: user=admin, access=WRITE

常见于Eclipse执行涉及到操作HDFS的任务

Eclipse提交作业时，默认用windows的用户将作业写入HDFS文件系统（默认情况下在HDFS上会生成/user/admin目录），但此用户并没有hadoop目录的写入权限

解决办法：# hadoop fs -chmod -R 777 / 修改hadoop根目录权限，或修改某一目录权限

4.

在windows中添加IP地址映射，若不进行配置，在windows中只能使用虚拟机IP地址进行操作，不能使用hostname

在C:\Windows\System32\drivers\etc下的hosts文件中添加

192.168.1.221 master

192.168.1.222 slave1

192.168.1.223 slave2

若无法保存文件，原因是权限不足

右键-属性-安全-编辑-选择Users-在下方勾选修改和写入-确定



保存后，使用master:50070访问hdfs监控试验一下，已经生效