Hadoop之——随笔(基于Hadoop-2.4.1)

转载请注明出处:/article/8381009.html

*****副本存放策略：

1、先在客户端所连接的datanode上存放一个副本

2、再在另一个机架上选择一个datanode存放第二个副本

3、最后在本机架上根据负载情况随机挑选一个datanode存放第三个副本

****副本数量的配置优先级

1、服务端hdfs-site.xml中可以配置

2、在客户端指定dfs.replication的值

客户端所指定的值优先级更高!!!

****DataNode定期向NameNode汇报自身所存储的block信息

----------性感的分割线------------

hadoop集群启动常见异常

1、hadoop节点的本地工作目录访问异常（权限）

2、namenode处于安全模式，导致无法上传数据

namenode在刚刚启动的时候处于安全模式不一定是异常，但是如果启动完成之后一直不退出安全模式，就有问题，可以用以下指令尝试手动退出 hdfs namenode -safemode leave

如果退出不成功，可以查看日志信息或者关闭重启

3、start-dfs.sh后，直接上传文件，发现上传失败抛出异常

排查异常的步骤：

--应该用jps查看一下进程是否正常：namenode datanode secondarynamenode

如果相关进程不存在，查看相关进程的日志文件来分析错误

--如果进程都存在，还存在问题，有可能是进程间的集群协调有问题

hdfs dfsadmin -report 来查看集群的信息

--实在找不到线索，删除tmp目录，然后重新用命令hadoop namenode -format格式化，启动