Hadoop之HDFS的读写流程（四）

读取过程：




上图解说一：
       1、使用HDFS提供的客户端开发库，向远程的NameNode发起RPC请求；
       2、NameNode会视情况返回文件的部分或全部block列表，同时返回的block所对应的的datanode地址信息；
       3、Client会就近选取对应的block，若该block与客户端在同一个dataNode，则就相当于读取本地数据；
       4、当读取完当前的blokc之后，关闭其与dataNode 的连接，同时Client会为读取下一个block寻找最佳的dataNode；
       5、当读完列表的block后，且文件读取还没有结束，客户端开发库会继续向Namenode获取下一批的block列表；
       6、每读完一个block都会对其进行checksum验证，如果读取dataNode出现错误则通知nameNode，
             然后再从其他拥有该block的dataNode继续进行读取。
       上图解说二：

       客户端(client)用FileSystem的open()函数打开文件
       DistributedFileSystem用RPC调用元数据节点，得到文件的数据块信息。
       对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。
       DistributedFileSystem返回FSDataInputStream给客户端，用来读取数据。
       客户端调用stream的read()函数开始读取数据。
       DFSInputStream连接保存此文件第一个数据块的最近的数据节点。
       Data从数据节点读到客户端(client)
       当此数据块读取完毕时，DFSInputStream关闭和此数据节点的连接，然后连接此文件下一个数据块的最近的数据节点。
       当客户端读取完毕数据的时候，调用FSDataInputStream的close函数。
       在读取数据的过程中，如果客户端在与数据节点通信出现错误，则尝试连接包含此数据块的下一个数据节点。
       失败的数据节点将被记录，以后不再连接。

    数据完整性：
   用户从DN读取文件数据时，因DN磁盘或网络问题、软件bug等原因，客户端可能读到错误的数据。
   HDFS在写入文件时，为文件的每个block计算校验和，当读取文件数据时，客户端通过对数据计算校验和来确认读到数据的完整性。

HDFS写的流程：





        

  
HDFS写的流程图解说：

          1、通过Client向远程的NameNode发送RPC请求；
          2、接收到请求后NameNode会首先判断对应的文件是否存在以及用户是否有对应的权限，
                成功则会为文件创建一个记录，否则会让客户端抛出异常；
          3、当客户端开始写入文件的时候，开发库会将文件切分成多个packets，并在内部以"data queue"的形式管理这些packets，
                并向Namenode申请新的blocks，获取用来存储replicas的合适的datanodes列表， 
                列表的大小根据在Namenode中对replication的设置而定。
          4、开始以pipeline（管道）的形式将packet写入所有的replicas中。开发库把packet以流的方式写入第一个
datanode，
               该datanode把该packet存储之后，再将其传递给在此pipeline中的下一个datanode，直到最后一个
datanode，
               这种写数据的方式呈流水线的形式。
          5、最后一个datanode成功存储之后会返回一个ack packet，在pipeline里传递至客户端，在客户端的开发库内部维护着
               "ack  queue"，成功收到datanode返回的ack packet后会从"ack queue"移除相应的packet。

          6、如果传输过程中，有某个datanode出现了故障，那么当前的pipeline会被关闭，出现故障的datanode会从当前的 pipeline
               中移除，剩余的block会继续剩下的datanode中继续以pipeline的形式传输，同时Namenode会分配一个新的 datanode，
               保持replicas设定的数量。