将hive查询到的结果插入动态分区表
2017-05-25 17:56
281 查看
如题,将hive查询到的结果插入动态分区表时,可以指定其中一列或几列为分区字段,剩下的几列为表中内容。
首先,需要在查询开始进行若干设置:
然后
INSERT OVERWRITE TABLE T PARTITION (ds='20170524155200', hr)
SELECT
key
, value
, ds
, hr
FROM oldtable
WHERE
ds IS NOT NULL
AND hr>10
;
另外,向hive中传参可以采用如下方式:
myconf='20170524175200'
hive -e "INSERT OVERWRITE TABLE T PARTITION (ds='${myconf}', hr)
SELECT key, value, hr FROM srcpart WHERE ds is not null and hr>10;"
首先,需要在查询开始进行若干设置:
set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.max.dynamic.partitions.pernode=1000; set io.sort.mb=1024;
然后
INSERT OVERWRITE TABLE T PARTITION (ds='20170524155200', hr)
SELECT
key
, value
, ds
, hr
FROM oldtable
WHERE
ds IS NOT NULL
AND hr>10
;
另外,向hive中传参可以采用如下方式:
myconf='20170524175200'
hive -e "INSERT OVERWRITE TABLE T PARTITION (ds='${myconf}', hr)
SELECT key, value, hr FROM srcpart WHERE ds is not null and hr>10;"
相关文章推荐
- hive按当天日期建立分区表 | 动态往日期分区插入数据
- hive从查询中获取数据插入到表或动态分区
- hive从查询中获取数据插入到表或动态分区
- hive从查询中获取数据插入到表或动态分区
- hive从查询中获取数据插入到表或动态分区
- 动态的创建表的sql,并把查询的结果插入该表
- hive从查询中获取数据插入到表或动态分区
- hive从查询中获取数据插入到表或动态分区
- hive从查询中获取数据插入到表或动态分区
- hive从查询中获取数据插入到表或动态分区
- hive从查询中获取数据插入到表或动态分区
- Hive查询结果批量插入分区
- hive多表连接带where查询结果插入到新表的优化
- 查询结果的动态排序(2)
- 将一张表中查询的结果插入到另一张表中
- 笔记:SQL语句基础操作之查询结果,动态改变结果
- 如何保存子窗体的动态查询结果?
- 将一张表的查询结果插入到另一张表
- 数据库查询结果的动态排序(3)
- 将查询结果插入到现有表中