Hadoop2.0产生背景
2014-08-02 14:28
225 查看
[b]Hadoop与Hadoop生态系统的区别[/b]
Hadoop:是一个适合大数据分布式存储和分布式计算的平台,在Hadoop1.x中对应于HDFS和MapReduce;
Hadoop生态系统:是一个很庞大的概念,Hadoop是其中最重要最基础的一个部分;生态系统中的每个子系统只负责解决某一个特定的问题域(甚至可能更窄),不是一个全能系统而是小而精的多个小系统;
[b]Hadoop1.x中存在的问题[/b]
Hadoop1.x中HDFS和MapReduce在高可用、扩展性等方面均存在不同程度上的问题:
HDFS存在的问题:
1、NameNode存在单点故障,影响生产环境真正使用;
2、NameNode压力大,且内存受限,影响系统扩展性;
压力大:因为只有一个NameNode,所有的请求都要经过它;
内存受限:因为只有一个NameNode,所有元数据信息都要保存在NameNode上;
MapReduce存在的问题:
1、JobTracker单点故障;
2、JobTracker访问压力大,影响系统扩展性;
3、难以支持除MapReduce之外的计算框架(如:Spark、Storm等);
基于Hadoop1.x中存在的如上问题,催生了Hadoop2的产生;
Hadoop:是一个适合大数据分布式存储和分布式计算的平台,在Hadoop1.x中对应于HDFS和MapReduce;
Hadoop生态系统:是一个很庞大的概念,Hadoop是其中最重要最基础的一个部分;生态系统中的每个子系统只负责解决某一个特定的问题域(甚至可能更窄),不是一个全能系统而是小而精的多个小系统;
[b]Hadoop1.x中存在的问题[/b]
Hadoop1.x中HDFS和MapReduce在高可用、扩展性等方面均存在不同程度上的问题:
HDFS存在的问题:
1、NameNode存在单点故障,影响生产环境真正使用;
2、NameNode压力大,且内存受限,影响系统扩展性;
压力大:因为只有一个NameNode,所有的请求都要经过它;
内存受限:因为只有一个NameNode,所有元数据信息都要保存在NameNode上;
MapReduce存在的问题:
1、JobTracker单点故障;
2、JobTracker访问压力大,影响系统扩展性;
3、难以支持除MapReduce之外的计算框架(如:Spark、Storm等);
基于Hadoop1.x中存在的如上问题,催生了Hadoop2的产生;
相关文章推荐
- Hadoop的产生背景
- Hadoop系列之一:大数据存储及处理平台产生的背景
- Hadoop 产生背景
- Hadoop系列之一:大数据存储及处理平台产生的背景
- 什么是HADOOP、产生背景、在大数据、云计算中的位置和关系、国内外HADOOP应用案例介绍、就业方向、生态圈以及各组成部分的简介(学习资料中的文档材料)
- Hadoop系列之一:大数据存储及处理平台产生的背景
- hadoop hdfs HA原理讲解、脑裂问题产生
- Hadoop2.0 YARN cloudra4.4.0安装配置
- hadoop 2.0 详细配置教程(转载)
- hadoop 1.0跟hadoop2.0对比
- Hadoop 2.0版本wordcount 以及 排序
- Hadoop 1.0和Hadoop 2.0 资源管理的对比
- Hadoop 2.0中单点故障解决方案总结
- Java EE产生的背景
- Hadoop 2.0课程及学习方法
- Hadoop2.0 简易安装
- Hadoop 2.0集群配置详细教程
- YARN产生背景
- 城市云脑,智慧城市2.0产生背后的深层原因,两个重要特征是关键
- hadoop2.0生产环境高可用集群原理和搭建