欢迎使用CSDN-markdown编辑器

Hadoop HDFS实践攻略

理论部分：

HDFS 基本原理

文件读取、写入机制

元数据管理思路

实践部分：

安装实践环境

Shell 命令行操作方式

Java API操作方式

HDFS基本原理

1. HDFS的解决思路

HDFS(Hadoop Distribute File System)是一个分布式文件系统，是Hadoop的重要成员。

HDFS是个抽象层，底层依赖很多独立的服务器，对外提供统一的文件管理功能，对于用户来讲，感觉就像在操作一台机器，感受不到HDFS下面的多台服务器。



HDFS首先会把这个文件进行分割，例如分为4块，然后分别放到不同服务器上。



这样做有个好处，不怕文件太大，并且读文件的压力不会全部集中在一台服务器上。但如果某台服务器坏了，文件就读不全了。

HDFS为保证文件可靠性，会把每个文件块进行多个备份：



这样文件的可靠性就大大增强了，即使某个服务器坏了，也可以完整读取文件。

同时还带来一个很大的好处，就是增加了文件的并发访问能力，比如多个用户读取这个文件时，都要读块1，HDFS可以根据服务器的繁忙程度，选择从那台服务器读块1

1. 元数据的管理

HDFS中存了哪些文件?

文件被分成了哪些块?

每个块被放在哪台服务器上?

……

这些都叫做元数据，这些元数据被抽象为一个目录树，记录了这些复杂的对应关系。这些元数据由一个单独的模块进行管理，这个模块叫做NameNode。存放文件块的真实服务器叫做DataNode，所以用户访问HDFS的过程可以理解为：

用户-> HDFS -> NameNode -> DataNode

3. HDFS优点

容量可以线性扩展

有副本机制，存储可靠性高，吞吐量增大

有了NameNode后，用户访问文件只需指定HDFS上的路径