Spark SQL函数之分组排序

需求：根据class分组对组内的age进行排序

原表



结果



Spark  SQL :
SELECT name,  age,  class,  row_number() over(partition by age
order byclass) as RE
FROM A

默认会把同一分组的age最大放到第一位，并且设置RE=1，以此类推

注意事项 ：

SELECT first(name) as name FROM

(
        SELECT name, 
age,  class,  row_number() over(partition by age
order by class) as RE
FROM A
)  B group by class

以上SQL不会得到年龄最大的人

原因推测（未阅读源码，本人推测）

SELECT
name,  age,  class,  row_number() over(partition by age
order byclass) as RE
FROM A  本句SQL虽然把结果排序了，但是再次进行Group   By的时候把原来的数据重新打乱了。

看下图：

分组排序的时候把同组数据发送到服务器A上，只有GROUP  BY刚好在服务器A上读取数据，最终结果才是有序的



进行GROUP  BY是部分分组的数据被移动到服务器B上，移动过程数据变得无序



Spark分布式计算的过程为了负载均衡讲数据发送到别的服务器处理，以上均为个人YY.