C# Hadoop学习笔记(二)—架构原理
2013-10-17 13:01
375 查看
一,架构
[align=left] [/align]
二、名词解释
(一)NameNode(简称NN),Hadoop的主节点,负责侦听节点是否活跃,对外开放接口等。在未来的大数据处理过程中,由于访问量和节点数量的不断增多,需要该节点的处理能力较高,因此从集群搭建的角度,建议该节点的CPU配置较高。(二)SecondNameNode(SNN),Hadoop高可用的备份节点,主要用途是主节点宕机或者不可用的情况下,自行切换到备用节点。
身份决定了该节点需要同步NN的信息,因此采用心跳的方式从NN发现数据,并同步到自身。由于不可预知的本机硬件问题或网络原因及灾害,SNN需要部署在远离NN的物理空间内,一般配置是将该节点放在不同的机架、机房、楼层、楼房、或者更远,以确保高可用。
(三)JobTracker(JT),负责任务的并发及调度处理。因此需要该节点能够拥有较高的CPU(低于NN),较高的内存。
(四)DataNode(DN),分布式的各个子节点,真正存储NDFS文件的节点,负责接受Hadoop的计算任务,通过TaskTacker执行并行任务,启动MapReduce进行数据处理。
身份决定该节点需要存储大量的文件,而且由于冗余备份(Hadoop缺省配置3份),防止节点宕机导致的计算不准确问题。该节点需要非常大的磁盘空间承载文件。
三、试验集群部署结构
[align=left] [/align]
四、生产环境部署结构
[align=left] [/align]
相关文章推荐
- hadoop学习笔记二_MapReduce应用场景、原理、基本架构
- Hadoop学习笔记:MapReduce原理简单学习
- C# Hadoop学习笔记(七)—C#的云计算框架借鉴(下)
- 【Hadoop入门学习系列之四】MapReduce 2.0应用场景和原理、基本架构和编程模型
- hadoop学习笔记-HDFS原理
- C# Hadoop学习笔记(一)—环境安装
- hadoop学习笔记七 -- hadoop集群高可用架构安装配置
- Hbase 学习笔记: Hbase的架构和实现原理
- 黑马程序员 C#学习笔记⑥ 三层架构基础实现员工信息管理
- 学习笔记3:《大型网站技术架构 核心原理与案例分析》之 大型网站架构模式
- C# Hadoop学习笔记(三)—集群部署结构
- Hadoop学习笔记(7)-简述MapReduce计算框架原理
- Hadoop2.6.0学习笔记(三)HDFS架构
- 云计算学习笔记---Hadoop简介,hadoop实现原理,NoSQL介绍...与传统关系型数据库对应关系,云计算面临的挑战
- Hadoop工作原理学习笔记
- C# Hadoop学习笔记(一)
- hadoop学习笔记之--- HDFS原理学习
- C# Hadoop学习笔记(四)—设计自己的云计算框架