大数据协作框架
2017-10-26 16:40
176 查看
一、基本框架
Hadoop 2.x
HDFS
YARN
MapReduce(分而治之)
分:map
合: reduce
Zookeeper
Hive (大数据仓库)
==============================
对日志类型的海量数据
* hdfs
* mr , hive - hql
二、大数据协作框架
第一个问题(Sqoop(数据转换)
,Flume(文件收集))
hdfs
文件来源哪里?海量数据存储到hdfs ?
现实数据来源两个方面
* RDBMS(Oracle,MySQL,DB2...) -> sqoop(SQL to HADOOP)
* 文件(apache,nginx日志数据) -> Flume(实时抽取数据)
第二个问题(Oozie(任务调度))
对数据的分析任务Job,至少都是上千(互联网公司)
调度任务 ?
什么执行,多长执行一次,执行频率
某一些业务的分析,需要许多job任务共同完成,相互依赖关系 ,工作流 ?
第三个问题(Hue(大数据web工具))
hadoop 2.x生态系统中重要的框架,8个,
监控
统一WEB UI界面,管理框架,监控框架
Hadoop 2.x
HDFS
YARN
MapReduce(分而治之)
分:map
合: reduce
Zookeeper
Hive (大数据仓库)
==============================
对日志类型的海量数据
* hdfs
* mr , hive - hql
二、大数据协作框架
第一个问题(Sqoop(数据转换)
,Flume(文件收集))
hdfs
文件来源哪里?海量数据存储到hdfs ?
现实数据来源两个方面
* RDBMS(Oracle,MySQL,DB2...) -> sqoop(SQL to HADOOP)
* 文件(apache,nginx日志数据) -> Flume(实时抽取数据)
第二个问题(Oozie(任务调度))
对数据的分析任务Job,至少都是上千(互联网公司)
调度任务 ?
什么执行,多长执行一次,执行频率
某一些业务的分析,需要许多job任务共同完成,相互依赖关系 ,工作流 ?
第三个问题(Hue(大数据web工具))
hadoop 2.x生态系统中重要的框架,8个,
监控
统一WEB UI界面,管理框架,监控框架
相关文章推荐
- 大数据协作框架简介
- 【大数据系统架构师】1.4 大数据协作框架
- 大数据协作框架之flume详解
- 大数据协作框架之Flume
- 大数据协作框架之Oozie篇
- 大数据协作框架之Oozie
- 大数据协作框架Hue
- Android 数据绑定框架DataBinding,堪称解决界面逻辑的黑科技
- Android-数据存储2(SQLite)及Android底层框架简介
- Activiti工作流框架学习(一)——环境的搭建和数据表的了解
- MyBatis框架——mybatis插入数据返回主键(mysql、oracle)
- android 开发笔记 使用Volley框架获取json数据出现中文乱码解决方案
- 基于Web Service的客户端框架搭建一:C#使用Http Post方式传递Json数据字符串调用Web Service
- python简单框架实现爬取NBA球员数据
- 数据结构开发框架设计
- 7、 数据仓库Hive(使用sql进行计算的hadoop框架)
- 分布式服务框架 Zookeeper -- 管理分布式环境中的数据
- Java三大框架之——Hibernate中的三种数据持久状态和缓存机制
- 管理数据通用权限系统快速开发框架设计
- SSM框架下使用JSON和AJAX进行前后端数据传输