您的位置：首页 > 运维架构

hadoop介绍

2013-12-17 23:53 246 查看
1.hadoop的核心分为

(1)HDFS：Hadoop Distributed File System分布式文件系统

(2)MapReduce：并行计算框架。



2.HDFS的架构

主从结构：

        主节点,只有一个:namenode

        从节点,有很多个:datanodes

namenode负责：

         接收用户操作请求

         维护文件系统的目录结构

         管理文件与block之间关系,block与datanode之间关系

datanode负责：

          存储文件 

          文件被分成block存储在磁盘上

          为保证数据安全,文件会有多个副本



3.MapReduce的架构

主从结构：

          主节点,只有一个：JobTracker

          从节点,有很多个：TaskTrackers

JobTracker负责：

          接收客户提交的计算任务

          把计算任务分给TaskTrackers执行

          监控TaskTracker的执行情况

TaskTrackers负责：

          执行JobTracker分配的计算任务
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签： 
相关文章推荐
新的分享
章节导航