hive order by sort by

order by

Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。但是对于大量数据这将会消耗很长的时间去执行。适用于数据量小的场景

sort by

Hive中指定了sort by，那么在每个reducer端都会做排序，也就是说保证了局部有序（每个reducer出来的数据是有序的，但是不能保证所有的数据是有序的，除非只有一个reduce），好处是：执行了局部排序之后可以为接下去的全局排序提高不少的效率（其实就是做一次归并排序就可以做到全局排序了）。

distribute by和sort by一起使用

distribute by是控制map的输出在reducer是如何划分的，举个例子，我们有一张表，mid是指这个store所属的商户，money是这个商户的盈利，name是这个store的名字

select midmoneyname store distribute by mid sort by mid ascmoney asc

我们所有的mid相同的数据会被送到同一个reducer去处理，每个reduce按照sort by 字段进行排序，这样的话就可以统计出每个商户中各个商店盈利的排序了（局部有序）。这里需要注意的是distribute by必须要写在sort by之前。适用于数据量比较大的排序场景。