浅谈hadoop（三）——hadoop简介

浅谈hadoop（三）——hadoop简介

本文翻译来源hadoop官网：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#The_File_System_Namespace

The file system namespace
hdfs采用一种传统的等级的文件组织方式。用户或者应用程序能够在文件夹中创建文件和文件夹。文件系统的命名空间和现在的操作系统的文件系统命名空间类似。可以创建或者删除文件、把文件从一个文件夹移动到另一个文件夹中、重命名文件。hdfs支持 user
quotas 和 access
permissions。hdfs不支持硬连接和软连接。但是，hdfs没有排除实现这些特性。
namenode管理文件系统的命名空间，文件系统的任何变化和属性，都会记录在namenode中。应用程序能够设置文件的副本数量，这些副本数量是由namenode管理的。这些副本的数量叫做这个文件的副本因子。副本因子在namenode中被排序。

data replication
hdfs被设计成可靠的存储集群中的大量文件。每个文件被存储成有序的块，这些块的目的是为了容错。每个文件能够设置块大小和副本因子。

除去最后一个块，所有块的大小都相同。但是，有了动态块长度和水平同步后，用户在创建一个块的时候不需要填满上个文件的最后一个块到指定长度。

应用程序能够指定副本因子的大小。副本因子能够在文件创建时指定，创建完成后也能够修改。在hdfs中的文件只能写一次（附加和删除除外），而且任何时候只能有一个写。

namenode负责块的副本，它周期的从集群中的datanode收到heartbeat和blockreport。收到heartbeat表明datanode可用。blockreport中包含了datanode中的所有block信息。