Spark配置参数调优

CPU各核负载量很不均匀，内存也没有用满，系统的资源没有得到充分利用，该如何利用？

(1)Spark的RDD的partition个数创建task的个数是对应的;

(2)Partition的个数在hadoop的RDD中由block的个数决定的。

 

内存：系统总内存数 = work内存大小 * work数 = SPARK_WORKER_MEMORY * SPARK_WORKER_INSTANCES

CPU: 系统总的task数 = work数 * work所占的cores数 = SPARK_WORKER_INSTANCES * SPARK_WORKER_CORES

 

例子：Cpu(12core)  mem(48G)计算task并行度，内存分配情况，调优参数：
SPARK_WORKER_INSTANCES=12
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=4G​

如果没有在spark-env.sh配置文件中配置以上参数，那么Spark运行默认是系统所有的资源，如下图：



如果在spark-env.sh文件中配置了以上参数，则：

export SPARK_WORKER_MEMORY=4g
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=12