Hive建Hdfs外部分区表
2017-04-12 16:40
246 查看
1、目录及数据准备
2、创建外部表
3、添加分区
4、查询测试
5、注意说明
建表时的location后面路径带上"/",而分区上的location路径直接带分区相对路径名“'2017-04-01'”就可以了。
分区表里面的所有数据文件不能再有文件夹,否则会较验报错。
另外,外部表进行drop table的时候,只是删除表结构,而不会删除对应的数据。
hadoop dfs -rmr /tmp/oss_access_test/2017-04-01 hadoop dfs -mkdir -p /tmp/oss_access_test/2017-04-01/ hadoop dfs -cp /tmp/oss_access/2017-04-01/sz-98-72_localhost_access_log.2017-04-01.*.txt /tmp/oss_access_test/2017-04-01/sz-98-72_localhost_access_log.2017-04-01.*.txt 或: hadoop dfs -cp -p /tmp/oss_access/2017-04-01/ /tmp/oss_access_test/ hadoop dfs -ls /tmp/oss_access_test/2017-04-01/ --删除数据不进回收站 hadoop dfs -rmr -skipTrash /tmp/oss_access_test/2017-04-01/*
2、创建外部表
drop table if exists xx_ext_oss_access; create external table xx_ext_oss_access ( log_text string ) partitioned by(pt_day string) row format delimited fields terminated by ',' location '/tmp/oss_access_test/';
3、添加分区
alter table xx_ext_oss_access add partition(pt_day='2017-04-01') location '2017-04-01';
4、查询测试
select * from xx_ext_oss_access limit 100;
5、注意说明
建表时的location后面路径带上"/",而分区上的location路径直接带分区相对路径名“'2017-04-01'”就可以了。
分区表里面的所有数据文件不能再有文件夹,否则会较验报错。
另外,外部表进行drop table的时候,只是删除表结构,而不会删除对应的数据。
相关文章推荐
- Hive外部分区表加载flume打到hdfs上文件,读不到.tmp文件
- Hive外部分区表加载flume打到hdfs上文件,读不到.tmp文件
- Hive外部分区表加载flume打到hdfs上文件,读不到.tmp文件
- hive 分区表、外部表、桶表
- Hive之管理表 外部表 分区表
- Azkaban实战,Command类型单一job示例,任务中执行外部shell脚本,Command类型多job工作flow,HDFS操作任务,MapReduce任务,HIVE任务
- Hive入门--2.分区表 外部分区表 关联查询
- Hive关于内部表外部表以及分区表数据删除总结
- hive中的内部表、外部表、分区表
- Hive内部表、外部表、分区表以及外部分区表创建以及导入数据实例讲解
- hive1.1.0建立外部表关联HDFS文件
- Hive数据加载(内部表,外部表,分区表)
- [陷阱]HIVE外部分区表一定要增加分区
- hive 采用JDBC编码方式获取外部分区表数据
- Hive关于内部表外部表以及分区表数据删除总结
- hive表新建外部表关联hdfs文件
- hive内部表、外部表、分区表、视图
- Hive中管理表(内部表)和外部表的区别是什么,及分区表使用场景
- Hive内部表、外部表、分区表介绍
- hive内部表、外部表、分区表、视图