Hive基础之Hive是什么以及使用场景
2018-01-03 13:17
459 查看
Hive是什么
1)Hive由facebook开源,构建在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库;
2)一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制;
3)Hive 定义了简单的类SQL 查询语言,称为HQL,它允许熟悉SQL 的用户查询数据;
4)允许用Java开发自定义的函数UDF来处理内置无法完成的复杂的分析工作;
5)Hive没有专门的数据格式(分隔符等可以自己灵活的设定);
ETL的流程(Extraction-Transformate-Loading):将关系型数据库的数据抽取到HDFS上,hive作为数据仓库,经过hive的计算分析后,将结果再导入到关系型数据库的过程。
官方学习向导:https://cwiki.apache.org/confluence/display/Hive/Tutorial
Hive是构建在Hadoop之上的数据仓库
1)使用HQL作为查询接口;
2)使用HDFS作为存储;
3)使用MapReduce作为计算;
Hive应用场景
数据源:
1)文件数据,如中国移动某设备每天产生大量固定格式的文件;
2)数据库
以上两种不同的数据源有个共同点:要使用hive,那么必须要将数据放到hive中;通常采用如下两种方式:
1)文件数据:load到hive
2)数据库: sqoop到hive
数据的离线处理;
hive的执行延迟比较高,因为hive常用于数据分析的,对实时性要求不高;
hive优势在于处理大数据,对于处理小数据没有优势,因为hive的执行延迟比较高。
处理数据存放在hive表中,那么前台系统怎么去访问hive的数据呢?
先将hive的处理结果数据转移到关系型数据库中才可以,sqoop就是执行导入导出的操作
1)Hive由facebook开源,构建在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库;
2)一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制;
3)Hive 定义了简单的类SQL 查询语言,称为HQL,它允许熟悉SQL 的用户查询数据;
4)允许用Java开发自定义的函数UDF来处理内置无法完成的复杂的分析工作;
5)Hive没有专门的数据格式(分隔符等可以自己灵活的设定);
ETL的流程(Extraction-Transformate-Loading):将关系型数据库的数据抽取到HDFS上,hive作为数据仓库,经过hive的计算分析后,将结果再导入到关系型数据库的过程。
官方学习向导:https://cwiki.apache.org/confluence/display/Hive/Tutorial
Hive是构建在Hadoop之上的数据仓库
1)使用HQL作为查询接口;
2)使用HDFS作为存储;
3)使用MapReduce作为计算;
Hive应用场景
数据源:
1)文件数据,如中国移动某设备每天产生大量固定格式的文件;
2)数据库
以上两种不同的数据源有个共同点:要使用hive,那么必须要将数据放到hive中;通常采用如下两种方式:
1)文件数据:load到hive
2)数据库: sqoop到hive
数据的离线处理;
hive的执行延迟比较高,因为hive常用于数据分析的,对实时性要求不高;
hive优势在于处理大数据,对于处理小数据没有优势,因为hive的执行延迟比较高。
处理数据存放在hive表中,那么前台系统怎么去访问hive的数据呢?
先将hive的处理结果数据转移到关系型数据库中才可以,sqoop就是执行导入导出的操作
相关文章推荐
- Hive基础之Hive是什么以及使用场景
- Hive基础之Hive是什么以及Hive使用场景
- java线程基础巩固---Daemon线程的创建以及使用场景分析
- JAVA基础:语句标签的合法使用,以及{}语句块到底有什么用?
- volatile、synchronized、lock有什么区别,以及在哪些场景下使用哪种方式?
- volatile、synchronized、lock有什么区别,以及在哪些场景下使用哪种方式?
- JAVA基础 语句标签的合法使用,以及{}语句块到底有什么用?
- 面试题:this和super关键字分别代表什么?以及他们各自使用场景和作用?
- Hive中管理表(内部表)和外部表的区别是什么,及分区表使用场景
- C#基础篇 重写与重载,以及其中设计的虚方法和抽象方法的使用和区别
- Android的intent:基础概念以及显示/隐式使用Intent && 通过intent返回结果
- 第2章 Java编程基础——FAQ2.22 创建String对象时, 使用String s=new String (“abc”)和String s=“abc”语句有什么区别?
- Javascript笔记一 js以及json基础使用说明
- C#基础篇 重写与重载,以及其中设计的虚方法和抽象方法的使用和区别
- C#基础篇 重写与重载,以及其中设计的虚方法和抽象方法的使用和区别
- SQL Server 索引基础知识(6)----索引的代价,使用场景
- 异步套接字基础:select函数以及FD_ZERO、FD_SET、FD_CLR、FD_ISSET使用说明
- 对为什么使用访问器(getter),以及什么是继承的一点看法
- 内联(Inline)的定义以及什么情况下使用内联(转)
- SQL Server 索引基础知识(6)----索引的代价,使用场景