spark 未序列化
2016-01-11 16:35
232 查看
在执行spark脚本时报出spark未序列化异常,
解决办法:
在spark-defaults.conf文件中追加以下内容:
spark.serializer=org.apache.spark.serializer.KryoSerializer
spark.kryoserializer.buffer.max.mb=1024
把spark-defaults.conf文件scp到集群中每个node中~~~ 重启spark–>>OK
解决办法:
在spark-defaults.conf文件中追加以下内容:
spark.serializer=org.apache.spark.serializer.KryoSerializer
spark.kryoserializer.buffer.max.mb=1024
把spark-defaults.conf文件scp到集群中每个node中~~~ 重启spark–>>OK
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Spark RDD API详解(一) Map和Reduce
- 使用spark和spark mllib进行股票预测
- Spark随谈——开发指南（译）
- Spark，一种快速数据分析替代方案
- eclipse 开发 spark Streaming wordCount
- Understanding Spark Caching
- ClassNotFoundException:scala.PreDef$
- Windows 下Spark 快速搭建Spark源码阅读环境
- Spark中将对象序列化存储到hdfs
- Spark初探
- Spark Streaming初探
- 搭建hadoop/spark集群环境
- spark内存概述
- Spark Shuffle之Hash Shuffle
- 编译Spark 1.5.2
- 整合Kafka到Spark Streaming——代码示例和挑战
- Spark 性能相关参数配置详解－任务调度篇
- 基于spark1.3.1的spark-sql实战－01
- 基于spark1.3.1的spark-sql实战－02
- 在 Databricks 可获得 Spark 1.5 预览版