《数据算法-Hadoop/Spark大数据处理技巧》读书笔记（二）——TopN列表

大数据计算力经常要面对TopN的问题，也就是一个大集合里取排序后的前N个数据。

1.Key值唯一

①MapReduce：

在Map中使用SortedMap完成每个节点的TopN操作，然后所有节点将数据汇聚到Reduce节点，再次使用SortedMap完成TopN操作，其中setup()中做初始化工作，map()中构造SortedMap，在cleanup()中将生成的SortedMap输出给reduce。也就是TopN操作也达到分而治之的效果，提高运算效率。

setup()方法在该节点开始计算前调用，cleanup()在该节点map()都计算完之后调用。

②Spark：

在Spark里可以使用MapPartitions来实现近似于MapReduce中setup()和cleanup()的效果。MapPartitions实现了同一数据节点上数据的集中处理。

最后的Top10可以在Driver中对所有返回的List进行归约，也可以在Reduce中归约。

更好的方式可以使用takeOrderd()和top()方法获得TopN