hadoop介绍和体系架构

hadoop是什么?

        hadoop是适合大数据的分布式存储和计算平台

hadoop的核心项目

        HDFS:分布式文件系统

        MapReduce:并行计算框架

HDFS的体系架构:

主从结构

    主节点，只有一个: namenode

    从节点，有很多个: datanode

namenode负责：

   接收用户操作请求，是用户操作的入口,维护文件系统的目录结构，称作命名空间

datanode负责：存储文件

MapReduce的架构

主从结构

    主节点，只有一个: JobTracker

    从节点，有很多个: TaskTracker

JobTracker负责：

    接收客户提交的计算任务把计算任务分给TaskTrackers执行，即任务调度,监控TaskTracker的执行情况

TaskTrackers负责：

执行JobTracker分配的计算任务

hadoop的特点:

    扩容能力

    成本低

    高效率

    可靠性

hadoop集群的分布图: