初识Hive:3张图了解Hive的数据类型、架构图!
2017-10-18 10:04
239 查看
Hive是一个构建在Hadoop上的数据仓库框架,可以将结构化的数据文件,映射为一张数据库表,并提供完整的sql查询功能。可以将sql语句,转换为MapReduce任务进行运行。
Hive选择Hadoop来存储和处理数据,因为Hadoop有较好的性价比。Hive设计的目标是让精通SQL技能(Java较弱的)分析师,能够从存放在HDFS的大规模数据集上,运行查询。
Hive 一般在工作站上运行,将SQL查询转换为一系列MapReducejob,在Hadoopcluster上运行。
表模式等元数据存放在名为metastore的数据库中。默认的metastore在本地运行。此时创建的Hive表在本地上,无法与其它用户共享。
Hive优点
Hive学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
安装和启动Hive
解压缩:
$ tar xvzfhive-1.X.X-dev.tar.gz
配置路径:
export HIVE_INSTALL=/home/hadoop-2.X/hive
export PATH=$PATH:$HIVE_INSTALL/bin
启动Hive shell:
$ hive
hive>
Hive数据类型
SQL和HiveQL的概要比较
Hive客户端
如果以服务器方式运行:
hive –service hiveserver2
可以在应用程序中,以不同机制连接到服务器:
nmaplocalhost
ufwdisable
Hive架构
Hive选择Hadoop来存储和处理数据,因为Hadoop有较好的性价比。Hive设计的目标是让精通SQL技能(Java较弱的)分析师,能够从存放在HDFS的大规模数据集上,运行查询。
Hive 一般在工作站上运行,将SQL查询转换为一系列MapReducejob,在Hadoopcluster上运行。
表模式等元数据存放在名为metastore的数据库中。默认的metastore在本地运行。此时创建的Hive表在本地上,无法与其它用户共享。
Hive优点
Hive学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
安装和启动Hive
解压缩:
$ tar xvzfhive-1.X.X-dev.tar.gz
配置路径:
export HIVE_INSTALL=/home/hadoop-2.X/hive
export PATH=$PATH:$HIVE_INSTALL/bin
启动Hive shell:
$ hive
hive>
Hive数据类型
SQL和HiveQL的概要比较
Hive客户端
如果以服务器方式运行:
hive –service hiveserver2
可以在应用程序中,以不同机制连接到服务器:
nmaplocalhost
ufwdisable
Hive架构
相关文章推荐
- 初识Hive:3张图了解Hive的数据类型、架构图!
- hive的数据类型
- 软件架构————几种特殊的数据类型注意事项
- 全面了解DB2数据库中的各数据类型
- C语言 数据类型(初识)
- Hive数据类型-集合类型(Array-Map-Struct)的尝试
- xml模式:了解数据类型
- 深入了解Python数据类型之列表
- 大数据时代的技术hive:hive的数据类型和数据模型
- 干货长文 | 达观数据分析平台架构和Hive实践
- Hive数据类型总结
- 架构优化和索引--数据类型的选择
- hive中,向map类型插入数据时,需要str_to_map一下
- ElasticSearch33:初识搜索引擎_手动建立和修改mapping以及定制sting类型数据是否分词
- Hive数据类型
- JAVA基础——初识JAVA(三)(变量、常量、数据类型)
- 初识Java之变量、数据类型和运算符
- Hive 5、Hive 的数据类型 和 DDL Data Definition Language)
- hive原生和复合类型的数据加载和使用