学习总结十三：Hadoop核心项目

1.HDFS: Hadoop Distributed File System 分布式文件系统

1.1主从结构

主节点，只有一个: namenode

从节点，有很多个: datanodes

1.2namenode负责：

接收用户操作请求

维护文件系统的目录结构

管理文件与block之间关系，block与datanode之间关系

1.3datanode负责：

存储文件

文件被分成block存储在磁盘上

为保证数据安全，文件会有多个副本

2.MapReduce：并行计算框架

2.1主从结构

主节点，只有一个: JobTracker

从节点，有很多个: TaskTrackers

2.2JobTracker负责：

接收客户提交的计算任务

把计算任务分给TaskTrackers执行

监控TaskTracker的执行情况

2.3TaskTrackers负责：

执行JobTracker分配的计算任务