Spark性能优化第二季-Task、数据倾斜及网络性能优化

一：Task性能优化

1、慢任务的性能优化：可以考虑减少每个Partition处理的数据量，同时建议开启spark.speculation（在/conf目录下查找）

2、尽量减少Shuffle，例如，要尽量减少groupByKey的操作，因为groupByKey会要求通过网络copy所有的数据（这就是所谓的shuffle）。优先考虑使用reduceByKey。因为会首先reduce locally（可以减少数倍的数据量）；再次，在进行join操作的时候，形如（K1,V1）join（K1,V2）=>(K1,V3)，此时就可以进行pileline，但是（O1）join (O2) => (O3)，此时就会产生Shuffle操作，因为不能保证数据在同一个node上。

3、Repartition：增加Task数量的时候可以考虑使用，从而更加充分地使用计算资源；

Coalesce：整理Partition碎片；

二：数据倾斜优化方案

1、定义更加合理的Key（或者自定义Partitioner）；

2、可以考虑使用ByteBuffer来存储Block(ByteBuffer最大的存储数据为2G，如果超过这个大小会报异常)；

三：网络

1、可以考虑Shuffle的数据放在Tachyon中带来更好的数据本地性，减少网络的Shuffle；

2、优先采用Netty的方式进行网络通信；

3、广播：例如进行Join操作的时候采用Broadcast，可以达到完全的数据本地性情况下进行join操作；

4、mapPartitions中的函数会直接作用于整个Partition(一次)

5、最优先考虑是PROCESS_LOCAL（Spark黑夜情况下也是这样做的），所以更应该考虑使用Tachyon；

6、如果要访问HBase或者Canssandra，务必保证数据处理发送在数据所在的机器上；