Hadoop 2.x
2017-01-06 07:32
375 查看
Hadoop 2.x 生态系统及技术架构图
一、负责收集数据的工具:
Sqoop(关系型数据导入Hadoop)
Flume(日志数据导入Hadoop,支持数据源广泛)
Kafka(支持数据源有限,但吞吐大)
二、负责存储数据的工具:
HBase
MongoDB
Cassandra
Accumulo
MySql
Oracle
DB2
HDFS(Hadoop Distribut File System)2.0
三、底层组件
Apache Common(通用模块)、
Avro(序列化成二进制)、
OS(Linux、windows。。。)
四、通用工具
Zookeeper分布式协作服务
Oozie工作流流调度系统
Ambari图形化部署、非xml,跟踪集群状态
五、分布式计算框架
MapReduce(通过磁盘离线计算)
Spark(通过内存实时计算)
Storm(实现流式数据计算)
Tez(GAG计算,对MR拆分)
Impala(实现实时交互式计算)
Flink、Slider、Open MPI
HCatalog
YARN(跨集群资源调度管理)以上各种计算框架架构在YAEN上,H2.0引入
六、数据分析处理
Hive数据仓库
sql语句生成MR作业
Pig工作流引擎
类似sql比MR语法简单
Mahout数据挖掘库
提供了诸多机器学习算法
Java、.net
R、Scala、Solr
Impapla、Ohter ISV
七、结果输出
经过数据分析处理,输出到BI工具、展示系统
ETL Tools
BI Reporting
RDBMS
OLAP
相关文章推荐
- hadoop学习之HDFS(2.9):hadoop2.x家族常用端口及描述
- zeus作业平台在hadoop2.x中的安装部署
- hadoop2.x安装文件配置
- Windows下使用Ant编译hadoop-eclipse-plugin-2.x插件
- hadoop-2.x高可用集群搭架
- unbuntu server12.04配置hadoop2.7.1(四):hadoop 2.7.1的安装(所有2.x版本都可以)
- windows编译hadoop 2.x Hadoop-eclipse-plugin插件
- 企业级Hadoop 2.x入门系列之一Apache Hadoop 2.x简介与版本
- 企业级Hadoop 2.x入门系列之十MapReduce 程序相关日志
- Hadoop 2.x与3.x 22点比较,Hadoop 3.x比2.x的改进
- hadoop2.x—mapreduce实战和总结
- centOS6.3下的hadoop2.x基本配置(本地模式和伪分布式模式)
- hadoop2.x通过Zookeeper来实现namenode的HA方案以及ResourceManager单点故障的解决方案
- Hadoop 2.x中fsimage和edits合并实现
- Hadoop2.x环境搭建3
- Hadoop2.X及Spark 1.5.0集群搭建
- hadoop2.x整合手册【4】---mahout0.9安装部署与测试
- hadoop2.x配置 - HistoryServer原理详解
- Hadoop集群2.X安装配置
- Hadoop2.x集群动态添加删除数据节点