对现有Hive的大表进行动态分区
2013-08-14 15:48
316 查看
分区是在处理大型事实表时常用的方法。分区的好处在于缩小查询扫描范围,从而提高速度。分区分为两种:静态分区static partition和动态分区dynamic partition。静态分区和动态分区的区别在于导入数据时,是手动输入分区名称,还是通过数据来判断数据分区。对于大数据批量导入来说,显然采用动态分区更为简单方便。
- 对现存hive表的分区
首先,新建一张我们需要的分区以后的表create table like 'origin'
若现存hive表中没有分区信息,我们需要手动修改hive配置数据库来增加hive表的分区信息。hive表分区存在PARTITION_KEYS数据表中,其中表项的| TBL_ID | PKEY_COMMENT | PKEY_NAME | PKEY_TYPE | INTEGER_IDX |分别是hive表名(在TBLS中存储),备注,分区名,分区索引的顺序。建立完成后我们就有一张类似于原始表,但是带有分区的表。
然后,我们修改一下hive的默认设置以支持动态分区:
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
第二步仅在你仅使用动态分区字段做分区索引时。
然后用hive的insert命令进行插入操作。注意,除了所有列外,需要将分区的动态字段跟在后面。
INSERT OVERWRITE TABLE target PARTITION (dt)
SELECT id,user_id,app_id,time,ip,substr(time,0,10) FROM origin
可以看到,动态分区的字段支持函数操作。
这样,我们得到了一张分区后的hive大表。
参考:https://cwiki.apache.org/Hive/dynamicpartitions.html
转载地址: http://blog.csdn.net/awayyao/article/details/7630000
- 对现存hive表的分区
首先,新建一张我们需要的分区以后的表create table like 'origin'
若现存hive表中没有分区信息,我们需要手动修改hive配置数据库来增加hive表的分区信息。hive表分区存在PARTITION_KEYS数据表中,其中表项的| TBL_ID | PKEY_COMMENT | PKEY_NAME | PKEY_TYPE | INTEGER_IDX |分别是hive表名(在TBLS中存储),备注,分区名,分区索引的顺序。建立完成后我们就有一张类似于原始表,但是带有分区的表。
然后,我们修改一下hive的默认设置以支持动态分区:
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
第二步仅在你仅使用动态分区字段做分区索引时。
然后用hive的insert命令进行插入操作。注意,除了所有列外,需要将分区的动态字段跟在后面。
INSERT OVERWRITE TABLE target PARTITION (dt)
SELECT id,user_id,app_id,time,ip,substr(time,0,10) FROM origin
可以看到,动态分区的字段支持函数操作。
这样,我们得到了一张分区后的hive大表。
参考:https://cwiki.apache.org/Hive/dynamicpartitions.html
转载地址: http://blog.csdn.net/awayyao/article/details/7630000
相关文章推荐
- 对现有Hive的大表进行动态分区
- 对现有Hive的大表进行动态分区
- 对现有Hive的大表进行动态分区
- 对现有Hive的大表进行动态分区
- 对Hive的大表进行动态分区
- 读书,掌握现有的知识,站在巨人的肩上,然后进行突破.
- Hive进行数据抽样-Sampling
- 在Impala 和Hive里进行数据分区(1)
- FORM开发入门3——对现有FORM进行修改
- 从Hive表中进行数据抽样-Sampling
- 利用Hive进行数据分析
- API Mashup竞赛寻找基于现有API进行创新的商业理念
- hive中快速对表结构数据进行复制
- hive 分区时 分别使用 年,月,日 来进行分区
- 使用PowerDesigner 15对现有数据库进行反向工程(图解教程) by Yulh
- 使用VSTS的Git进行版本控制(一)——复制现有仓库
- hadoop日志分析系统二 第二部分利用hadoop平台进行数据处理 第三种方式 hive+sqoop+zookeeper方式
- hive字段重复保存数据异常,大表与大表关联造成的数据倾斜
- Hive 中的外部表在数据源移动后,如何进行查询操作?
- Sqoop是一款开源的工具,主要用于在HADOOP(Hive)与传统的数据库(mysql、oracle...)间进行数据的传递