Hive动态分区
2015-11-06 15:02
507 查看
在hive中,可以通过分区进行性能优化,通过此过程数据将以某个字段进行分片存储,从而缩小查询的扫描范围,提高查询速度。
hive分区可分为静态分区和动态分区。静态分区和动态分区的区别在于导入数据时,是手动输入分区名称,还是通过数据来判断数据分区。对于大数据批量导入来说,显然采用动态分区更为简单方便。
使用hive动态分区,可分为以下步骤:
1.修改配置文件hive-site.xml以支持动态分区
hive.exec.dynamic.partition
true
hive.exec.dynamic.partition.mode
nonstrict (设置dynamic partition模式,nostrict允许所有partition列都为dynamic partition,strict不允许)
hive.exec.max.dynamic.partitions
10000 (总共允许创建的最大动态分区数)
hive.exec.max.dynamic.partitions.pernode
10000 (一个Mapper/Reducer节点可以创建的最大动态分区数)
hive.exec.max.created.files 100000 (一个MapreduceJob可以创建的最大文件数)
2.创建表
hive> create table monitor(monitor_date string, h2 double, ch4 double)
> partitioned by (monitor_id string)
> row format delimited fields terminated by ',' ;
3.插入数据
hive> insert overwrite table monitor partition(monitor_id)
> select monitor_date, h2, ch4, monitor_id
> from monitor_tmp
> order by monitor_date;
hive分区可分为静态分区和动态分区。静态分区和动态分区的区别在于导入数据时,是手动输入分区名称,还是通过数据来判断数据分区。对于大数据批量导入来说,显然采用动态分区更为简单方便。
使用hive动态分区,可分为以下步骤:
1.修改配置文件hive-site.xml以支持动态分区
hive.exec.dynamic.partition
true
hive.exec.dynamic.partition.mode
nonstrict (设置dynamic partition模式,nostrict允许所有partition列都为dynamic partition,strict不允许)
hive.exec.max.dynamic.partitions
10000 (总共允许创建的最大动态分区数)
hive.exec.max.dynamic.partitions.pernode
10000 (一个Mapper/Reducer节点可以创建的最大动态分区数)
hive.exec.max.created.files 100000 (一个MapreduceJob可以创建的最大文件数)
2.创建表
hive> create table monitor(monitor_date string, h2 double, ch4 double)
> partitioned by (monitor_id string)
> row format delimited fields terminated by ',' ;
3.插入数据
hive> insert overwrite table monitor partition(monitor_id)
> select monitor_date, h2, ch4, monitor_id
> from monitor_tmp
> order by monitor_date;
相关文章推荐
- Unity Water Shader
- ceph OSD 故障记录
- PHP parse_str()函数
- 《Java并发编程从入门到精通》显示锁Lock和ReentrantLock
- 2015/11/6用Python写游戏,pygame入门(6):控制大量的对象
- Sublime console installation instructions install Package Control
- 平台如如何实现类似windows的右键菜单
- ——黑马程序员——OC中@property、@synthesize关键字
- 判断一个应用程序是否已安装
- Android编程实现ViewPager多页面滑动切换及动画效果的方法
- ubuntu 关机重启命令
- android中图片的三级cache策略(内存、文件、网络)之二:内存缓存策略
- Docker contanier comunication with route
- 函数lock_rec_find_similar_on_page
- Eclipse导入Tomcat源码
- Codeforces 593D - Happy Tree Party(树链剖分)
- [Android] ListView中getView的原理+如何在ListView中放置多个item
- MRC和ARC混编
- Java的动态绑定与静态绑定
- ReentrantLock(重入锁)以及公平性