Hive Tips
2015-10-10 20:16
357 查看
原文链接:http://blog.hesey.net/2012/04/hive-tips.html
在Hive中,某些小技巧可以让我们的Job执行得更快,有时一点小小的改动就可以让性能得到大幅提升,这一点其实跟SQL差不多。
首先,Hive != SQL,虽然二者的语法很像,但是Hive最终会被转化成MapReduce的代码去执行,所以数据库的优化原则基本上都不适用于 Hive。也正因如此,Hive实际上是用来做计算的,而不像数据库是用作存储的,当然数据库也有很多计算功能,但一般并不建议在SQL中大量使用计算,把数据库只当作存储是一个很重要的原则。
在处理海量数据时我们通常会对很多大表进行操作,基于Hadoop现在的局限性,不能像分布式并行数据库那样很好地在分布式环境利用数据局部性,Hadoop对于大表只能全表扫描并筛选数据,而每一次对大表的扫描都是苦不堪言的。(最后知道真相的我眼泪掉下来。。。)
所以我们会用到在编码中经常用到的重构技巧,提取公共变量,在Hive中,就是创建临时表。
例如:现在要对三个表A、B、C进行处理,Hive QL是:
这里A表和C表只会被扫描一次,而B表会被扫描两次,如果B表的数据量很大,那么扫描B表的时间将会占用很大一块。
这里我们可以先创建一个临时表:
这个表只有B表的部分字段,所以大小会小很多,这里会对B表全表扫一遍。
然后可以用临时表和A、C表做join运算:
这样任务的执行速度将会有极大提升!尽管看起来多了一条Hive QL,但是后两个任务需要扫描的数据将会变得很小。
如果我们要对多种条件进行COUNT,可以利用case语句进行,这样一条Hive QL就可以完成了。
首先需要用create table在HDFS上生成你所需要的表,当需要从HDFS上将表对应的文件导出到本地磁盘时有两种方式:
1、如果需要保持HDFS上的目录结构,原封不动地复制下来,采用下面的命令:
这样下载下来的目录中会有很多由Reducer产生的part-*文件。
2、如果想把表的所有数据都下载到一个文件中,则采用下面的命令:
这样所有文件会由Hadoop合并后下载到本地,最后就只有/home/hesey/table.txt这一个文件。
在Hive中很多时候都需要做一些复杂的计算或者逻辑处理,这时候Hive本身作为一个通用框架没法很好地支持,所以有了UDF(User Defined Function)。
1、使用UDF
(a)如果是已经上传到Hive服务器的UDF,可以直接用
声明临时函数,然后在下面的Hive QL中就可以调用dosomething这个方法了。
(b)如果是自己编写的UDF,需要在声明临时函数前再加一行:
这样就可以把自定义的UDF加载进来,然后和(a)一样声明临时函数就可以了。
2、编写UDF
编写UDF十分简单,引入hive-exec包,继承org.apache.hadoop.hive.ql.exec.UDF类,实现evaluate方法即可,方法的输入和输出参数类型就是当你在Hive中调用时的输入和返回值。
例如:
(Text和LongWritable是org.apache.hadoop.io下面的类)
这样我们就可以定义自己的函数并方便地在Hive中调用,而不需要写一个重量级的MapReduce。
Hive本身是不支持笛卡尔积的,不能用select T1.*, T2.* from table_1, table_2这种语法。但有时候确实需要用到笛卡尔积的时候,可以用下面的语法来实现同样的效果:
其中on 1=1是可选的,注意在Hive的Strict模式下不能用这种语法,需要先用set hive.mapred.mode=nonstrict;设为非strict模式就可以用了。
当Hive做join运算时,join前面的表会被放入内存,所以在做join时,最好把小表放在前面,有利于提高性能并防止OOM。
在SQL中排序通过ORDER by实现,Hive中也支持这种语法,但是使用ORDER by时最终所有的数据会汇总到一个Reducer上进行排序,可能使得该Reducer压力非常大,任务长时间无法完成。
如果排序只要求保证Value有序而Key可以无序,例如要统计每个用户每笔的交易额从高到低排列,只需要对每个用户的交易额排序,而用户ID本身不需要排序。这种情况采用分片排序更好,语法类似于:
这里用到的不是ORDER by,而是distribute by和sort by,distribute by标识Map输出时分发的Key。
这样最后排序的时候,相同的user_id和amount在同一个Reducer上被排序,不同的user_id可以同时分别在多个Reducer上排序,相比ORDER by只能在一个Reducer上排序,速度有成倍的提升。
附:淘宝共享数据平台Hive Archive
在Hive中,某些小技巧可以让我们的Job执行得更快,有时一点小小的改动就可以让性能得到大幅提升,这一点其实跟SQL差不多。
首先,Hive != SQL,虽然二者的语法很像,但是Hive最终会被转化成MapReduce的代码去执行,所以数据库的优化原则基本上都不适用于 Hive。也正因如此,Hive实际上是用来做计算的,而不像数据库是用作存储的,当然数据库也有很多计算功能,但一般并不建议在SQL中大量使用计算,把数据库只当作存储是一个很重要的原则。
一、善用临时表
在处理海量数据时我们通常会对很多大表进行操作,基于Hadoop现在的局限性,不能像分布式并行数据库那样很好地在分布式环境利用数据局部性,Hadoop对于大表只能全表扫描并筛选数据,而每一次对大表的扫描都是苦不堪言的。(最后知道真相的我眼泪掉下来。。。)所以我们会用到在编码中经常用到的重构技巧,提取公共变量,在Hive中,就是创建临时表。
例如:现在要对三个表A、B、C进行处理,Hive QL是:
select T1.*, T2.* from (select id, name from A) T1 join (select id, price, feedback, type from B) T2 on T1.id = T2.id;
select T1.*, T2.* from (select id, type from C) T1 join (select id, price,feedback, attribute from B) T2 on T1.id = T2.id;
这里A表和C表只会被扫描一次,而B表会被扫描两次,如果B表的数据量很大,那么扫描B表的时间将会占用很大一块。
这里我们可以先创建一个临时表:
create table temp_B as select id, price, feedback, type, attribute from B;
这个表只有B表的部分字段,所以大小会小很多,这里会对B表全表扫一遍。
然后可以用临时表和A、C表做join运算:
select T1.*, T2.* from (select id, name from A) T1 join (select id, price, feedback, type from temp_B) T2 on T1.id = T2.id;
select T1.*, T2.* from (select id, type from C) T1 join (select id, price,feedback, attribute from temp_B) T2 on T1.id = T2.id;
这样任务的执行速度将会有极大提升!尽管看起来多了一条Hive QL,但是后两个任务需要扫描的数据将会变得很小。
二、一次执行多个COUNT
如果我们要对多种条件进行COUNT,可以利用case语句进行,这样一条Hive QL就可以完成了。select count(case when type = 1 then 1 end), count(case when type = 2 then 1 end) from table;
三、导出表文件
首先需要用create table在HDFS上生成你所需要的表,当需要从HDFS上将表对应的文件导出到本地磁盘时有两种方式:1、如果需要保持HDFS上的目录结构,原封不动地复制下来,采用下面的命令:
set hive.exec.compress.output='false'; INSERT OVERWRITE LOCAL DIRECTORY '/home/hesey/directory' select * from table;
这样下载下来的目录中会有很多由Reducer产生的part-*文件。
2、如果想把表的所有数据都下载到一个文件中,则采用下面的命令:
hadoop dfs -getmerge hdfs://hdpnn:9000/hesey/hive/table /home/hesey/table.txt
这样所有文件会由Hadoop合并后下载到本地,最后就只有/home/hesey/table.txt这一个文件。
四、UDF
在Hive中很多时候都需要做一些复杂的计算或者逻辑处理,这时候Hive本身作为一个通用框架没法很好地支持,所以有了UDF(User Defined Function)。1、使用UDF
(a)如果是已经上传到Hive服务器的UDF,可以直接用
create temporary function dosomething as 'net.hesey.udf.DoSomething';
声明临时函数,然后在下面的Hive QL中就可以调用dosomething这个方法了。
(b)如果是自己编写的UDF,需要在声明临时函数前再加一行:
add jar /home/hesey/foo.jar
这样就可以把自定义的UDF加载进来,然后和(a)一样声明临时函数就可以了。
2、编写UDF
编写UDF十分简单,引入hive-exec包,继承org.apache.hadoop.hive.ql.exec.UDF类,实现evaluate方法即可,方法的输入和输出参数类型就是当你在Hive中调用时的输入和返回值。
例如:
public Text evaluate(final LongWritable number);
(Text和LongWritable是org.apache.hadoop.io下面的类)
这样我们就可以定义自己的函数并方便地在Hive中调用,而不需要写一个重量级的MapReduce。
五、笛卡尔积
Hive本身是不支持笛卡尔积的,不能用select T1.*, T2.* from table_1, table_2这种语法。但有时候确实需要用到笛卡尔积的时候,可以用下面的语法来实现同样的效果:select T1.*, T2.* from (select * from table1) T1 join (select * from table2) T2 on 1=1;
其中on 1=1是可选的,注意在Hive的Strict模式下不能用这种语法,需要先用set hive.mapred.mode=nonstrict;设为非strict模式就可以用了。
六、join的规则
当Hive做join运算时,join前面的表会被放入内存,所以在做join时,最好把小表放在前面,有利于提高性能并防止OOM。
七、排序
在SQL中排序通过ORDER by实现,Hive中也支持这种语法,但是使用ORDER by时最终所有的数据会汇总到一个Reducer上进行排序,可能使得该Reducer压力非常大,任务长时间无法完成。如果排序只要求保证Value有序而Key可以无序,例如要统计每个用户每笔的交易额从高到低排列,只需要对每个用户的交易额排序,而用户ID本身不需要排序。这种情况采用分片排序更好,语法类似于:
select user_id, amount from table distribute by user_id sort by user_id, amount
这里用到的不是ORDER by,而是distribute by和sort by,distribute by标识Map输出时分发的Key。
这样最后排序的时候,相同的user_id和amount在同一个Reducer上被排序,不同的user_id可以同时分别在多个Reducer上排序,相比ORDER by只能在一个Reducer上排序,速度有成倍的提升。
附:淘宝共享数据平台Hive Archive
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- 分享Hive的一份胶片资料
- 单机版搭建Hadoop环境图文教程详解
- Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
- hadoop常见错误以及处理方法详解
- hadoop 单机安装配置教程
- hadoop的hdfs文件操作实现上传文件到hdfs
- hadoop实现grep示例分享
- Apache Hadoop版本详解
- linux下搭建hadoop环境步骤分享
- hadoop client与datanode的通信协议分析
- hadoop中一些常用的命令介绍
- Hadoop单机版和全分布式(集群)安装
- 用PHP和Shell写Hadoop的MapReduce程序
- hadoop map-reduce中的文件并发操作
- Hadoop1.2中配置伪分布式的实例
- java结合HADOOP集群文件上传下载
- 用python + hadoop streaming 分布式编程(一) -- 原理介绍,样例程序与本地调试