Spark性能调优系列目录

Spark性能调优系列目录：

普通调优

性能调优之在实际项目中分配更多的资源

性能调优之在实际项目中调节并行度

性能调优之在实际项目中使用Kryo序列化

性能调优之在实际项目中广播大变量

性能调优之在实际项目中，使用fastutil优化数据格式

性能调优之在实际项目中调节数据本地化等待时长

性能调优之在实际项目中，重构RDD架构以及RDD持久化

Jvm调优

JVM调优之原理概述 以及降低cache操作的内存占比

JVM调优executor【堆外内存】和连接时长

shuffle调优

shuffle 调优之原理概述

shuffle 调优之合并map端的输出

shuffle 调优之条件map端内存缓存与reduce端内存占比

Shuffle 调优之 HashShuffleManager 和 SortShuffleManager

算子调优

算子调优之MapPartitions提升Map类操作性能

算子调优之filter过后使用coalesce减少分区数量

算子调优之使用foreachPartition优化写数据库性能

算子调优之使用repartition解决Spark SQL低并行度的性能问

算子调优之reduceByKey本地聚合介绍