hadoop学习之数据完整性

当客户端从某个Datanode获取的数据可能是损坏的，损坏可能是由于Datanode的存蓄设备错误、网络错误或者软件bug造成的。HDFS客户端软件实现了对HDFS文件内容的校验和检查。当客户端创建一个新的HDFS文件，会计算这个文件的每个数据块的校验和，并将校验和作为一个单独的隐藏文件保存在HDFS名字空间下，当客户端获取文件 内容后，他会校验从datanode获取的数据的跟响应的教校验和文件中的校验和是否匹配，如果不匹配，客户端可以从其他的Datanode获取该数据的的副本。