[置顶] 【Hadoop--01】Hadoop简介
2017-07-17 17:19
363 查看
Hadoop可运行于一般的商用服务器上,具有高容错、高可靠性、高扩展性等特点特别适合写一次,读多次的场景。
适合
大规模数据
流式数据(写一次,读多次)
商用硬件(一般硬件)
不适合
低延时的数据访问
大量的小文件
频繁修改文件(基本就是写1次)
Hadoop架构
![](https://img-blog.csdn.net/20170717171756047?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvdTAxMzQyMTYyOQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
HDFS: 分布式文件存储
YARN: 分布式资源管理
MapReduce: 分布式计算
Others: 利用YARN的资源管理功能实现其他的数据处理方式
内部各个节点基本都是采用Master-Woker架构
适合
大规模数据
流式数据(写一次,读多次)
商用硬件(一般硬件)
不适合
低延时的数据访问
大量的小文件
频繁修改文件(基本就是写1次)
Hadoop架构
HDFS: 分布式文件存储
YARN: 分布式资源管理
MapReduce: 分布式计算
Others: 利用YARN的资源管理功能实现其他的数据处理方式
内部各个节点基本都是采用Master-Woker架构
相关文章推荐
- [置顶] 自学-JUC简介-01
- [置顶] 自学-Shiro简介及helloWorld-01
- 大数据笔记01:大数据之Hadoop简介
- 十八掌教育_徐培成_Hadoop3.0-01.简介
- Hadoop学习笔记——01.简介
- 01hadoop简介
- 4.hadoop之Zookeeper——01.简介及基本配置说明
- 大数据入门-基础篇01-hadoop框架简介
- [置顶]01_Hadoop学习笔记内容说明
- [置顶] Hadoop HDFS简介学习
- [置顶] hadoop学习路线之:ant简介及其使用
- hadoop简介
- 下一代 Hadoop YARN 简介:相比于MRv1,YARN的优势
- Hadoop资源感知调度器简介
- hadoop学习(二)----HDFS简介及原理
- Hadoop IO & HDFS manipulation 简介
- 跟我一起读Hadoop源码——HDFS篇(01)
- 机器学习入门系列01,Introduction 简介
- hadoop组件---数据仓库---hive简介
- 从零开始使用C ++和OpenGL编写游戏引擎-01-简介