hive中数据去重，union，交集和并集等操作语句总结

insert overwrite table store  
  select t.p_key,t.sort_word from   
    ( select p_key,  
           sort_word ,  
           row_number()  over(distribute by p_key sort by sort_word) as rn  
     from store)  t  
     where t.rn=1; 

Hive上一个典型表内除重的写法， p_key为除重依据， sort_word 为排序依据，一般为时间   rn为排名。 这里就留下第一名

注意hql 方言中， 表的嵌套要家别名， 字段前加上表别名。 union all 不支持顶层视图。

参考链接：

hive 嵌套使用： http://www.oschina.net/code/snippet_1421929_43903
hive求两个集合的减集： http://www.bkjia.com/yjs/942686.html
SQL 操作结果集 -并集、差集、交集、结果集排序：http://www.cnblogs.com/kissdodog/archive/2013/06/24/3152743.html

关于hive子查询，union，left join ：http://www.tuicool.com/articles/MZf6ny

hivejoin 操作小结： http://blog.csdn.net/xyilu/article/details/8112747