spark history server集群配置与使用（解决执行spark任务之后没有显示的问题）

在你的spark路径的conf文件中，cp拷贝spark-defaults.conf.template为spark-defaults.conf

并在文件后面加上

spark.eventLog.enabled           true

spark.eventLog.dir               hdfs://master:9000/history

spark.eventLog.compress          true

将配置分发到其他子节点我使用的是rsync

rsync sparkconf路径/spark-defaults.conf 子节点ip: sparkconf路径/spark-defaults.conf

启动spark history server，在主节点上执行

spark路径/sbin/start-history-server.sh hdfs://master:9000/history

！！！后面接的那个路径一定要和在conf中设置的一样，如果不接这个参数，默认值是本地的/tmp/spark-events