Hive DDL（Data Definition Language）之创建表

具体还需要看官网文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL

语法

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name

[(col_name data_type [COMMENT col_comment], …)]

[COMMENT table_comment]

[PARTITIONED BY (col_name data_type [COMMENT col_comment], …)]

[CLUSTERED BY (col_name, col_name, …) [SORTED BY (col_name [ASC|DESC], …)] INTO num_buckets BUCKETS]

[ROW FORMAT row_format]

[STORED AS file_format]

[LOCATION hdfs_path]

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name

LIKE existing_table_or_view_name

[LOCATION hdfs_path];

说明：

CREATE TABLE

创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXISTS 选项来忽略这个异常。

EXTERNAL

关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。

ROW FORMAT

DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char]

[MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]

| SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, …)]

用户在建表的时候可以自定义 SerDe 或者使用自带的 SerDe。如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED，将会使用自带的 SerDe。在建表的时候，用户还需要为表指定列，用户在指定表的列的同时也会指定自定义的 SerDe，Hive通过 SerDe 确定表的具体的列的数据。

STORED AS

SEQUENCEFILE|TEXTFILE|RCFILE

如果文件数据是纯文本，可以使用 STORED AS TEXTFILE。如果数据需要压缩，使用 STORED AS SEQUENCEFILE。

CLUSTERED BY

对于每一个表（table）或者分区， Hive可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。

把表（或者分区）组织成桶（Bucket）有两个理由：

（1）获得更高的查询处理效率。桶为表加上了额外的结构，Hive 在处理有些查询时能利用这个结构。具体而言，连接两个在（包含连接列的）相同列上划分了桶的表，可以使用 Map 端连接 （Map-side join）高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列，如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以，可以大大较少JOIN的数据量。

（2）使取样（sampling）更高效。在处理大规模数据集时，在开发和修改查询的阶段，如果能在数据集的一小部分数据上试运行查询，会带来很多方便。

LIKE 允许用户复制现有的表结构，但是不复制数据。

创建表

CREATE TABLE IF NOT EXISTS T_PEOPLE(
id    STRING,
name  STRING,
likes ARRAY<STRING>,
addr  MAP<STRING, STRING>)
PARTITIONED BY(dt STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'
STORED AS TEXTFILE;

查看表详细描述



数据准备

// 数据 2016-1-1
1   zs  game,girl,money stuAddr:chengdu,workAddr:beijing    2016-1-1
2   ls  game,girl,money stuAddr:changsha,workAddr:shanghai  2016-1-1
// 数据 2016-2-2
3   ww  gril,girl,money stuAddr:chengdu,workAddr:beijing    2016-2-2
4   zq  play,girl,money stuAddr:zhejiang,workAddr:zhejiang  2016-2-2

// 上传数据到hdfs
[root@master zz]# hdfs dfs -put /home/tmp/people.txt /tmp
[root@master zz]# hdfs dfs -put /home/tmp/people2.txt /tmp

load data

方式①：load 本地数据

[root@master zz]# load data local inpath ‘/home/tmp/people.txt’ into table t_people partition (dt=’2016-1-1’);

[root@master zz]# load data local inpath ‘/home/tmp/people2.txt’ into table t_people partition (dt=’2016-2-2’);

方式②：load hdfs上的数据

[root@master zz]# load data inpath ‘/tmp/people.txt’ into table t_people partition (dt=’2016-1-1’);

[root@master zz]# load data inpath ‘/tmp/people2.txt’ into table t_people partition (dt=’2016-2-2’);

查询数据

查询所有数据



查询name=’zs’的stuAddr



显示所有的分区



创建带结构体的表

create table if not exists t_worker(
id   int,
info struct<name:string, age:int>)
row format delimited
fields terminated by '\t'
collection items terminated by ',';

--数据准备
1   wangl,28
2   zhaoq,29
3   lifei,27
4   liudr,24

--查询结构体中的数据使用 *.*
select id, info.name, info.age from t_worker;

桶表（bucket）

桶表是对数据进行哈希取值，然后放到不同文件中存储。

创建桶表

create table t_bucket(name string, age int) clustered by(age) into 4 buckets;

加载数据

set hive.enforce.bucketing = true;

insert into table t_bucket select name, age from t_emp;

insert overwrite table t_bucket select name, age from t_emp;

注意：从其他表查询数据插入到桶表时注意匹配字段。

若字段不匹配则会出现下面的异常



数据加载到桶表时，会对字段取hash值，然后与桶的数量取模。把数据放到对应的文件中。

注意：

物理上，每个桶就是表(或分区）目录里的一个文件

一个作业产生的桶(输出文件)和reduce任务个数相同

修改桶数

对 t_bucket 表修改为：按照age分成10个桶，并按age排序

alter table t_bucket clustered by (age) sorted by (age) into 10 buckets;

抽样

select * from t_bucket tablesample(bucket x out of y on age);

x：表示从哪个bucket开始抽取

y：是t_bucket总bucket数的倍数或者因子，当 y 的值越大抽样出来的值越少

例如，table总bucket数为32，tablesample(bucket 3 out of 16)，表示总共抽取（32/16=）2个bucket的数据，分别为第3个bucket和第（3+16=）19个bucket的数据