大数据平台基础架构和常用处理工具
2016-03-12 15:12
573 查看
一、大数据在线分析处理和常用工具
•大数据在线分析处理的特点•Flume
介绍
•Spark
和 Storm
介绍
•HBase介绍
二、大数据离线处理和常用工具
•大数据离线处理特点•Hdfs介绍
•MapReduce介绍
•Hive
介绍
三、大数据离线处理和常用工具
1、•OLAP和 OLTP 特点
OLAP (联机分析处理)
和 OLTP (联机事务处理)
在查询方面的特点:
•OLTP
单次查询返回数据量小,但是经常会涉及服务器端简单的聚合操作,要求查询响应速度快,一般应用于在线处理;
•OLAP
单次查询返回数据量巨大,服务器端进行的处理复杂,经常包含上卷(从细粒度数据向高层的聚合)、下钻(将汇总数据拆分到更细节的数据)类似的操作;
2、•Elasticsearch
介绍
3、•Impala
介绍
4、•Kylin介绍
相关文章推荐
- 康诺云推出三款智能硬件产品,为健康管理业务搭建数据池
- MySQL中使用innobackupex、xtrabackup进行大数据的备份和还原教程
- php+ajax导入大数据时产生的问题处理
- C# 大数据导出word的假死报错的处理方法
- 用Python实现协同过滤的教程
- Python利用多进程将大量数据放入有限内存的教程
- mongodb常遇到的错误。
- Stack数据结构的特点后进先出的应用:大数据运算
- YARN或将成为Hadoop新发力点
- Hadoop 1.x版本伪单机配置
- Glusterfs的编译选项 #pragma GCC poison system popen
- Python 大数据思维导图
- Spark HA部署方案
- Spark HA原理架构图
- HADOOP的HA部署方案
- 大白话storm
- SQL优化(二) 快速计算Distinct Count