spark troubleshooting--解决各种序列化导致的错误
2017-03-25 17:25
429 查看
troubleshooting 解决各种序列化导致的错误
你会看到什么样的序列化导致的报错?
用client模式去提交spark作业,观察本地打印出来的log。如果出现了类似于Serializable、
Serialize等等字眼,报错的log,那么恭喜大家,就碰到了序列化问题导致的报错。
虽然是报错,但是序列化报错,应该是属于比较简单的了,很好处理。
序列化报错要注意的点:
1、你的算子函数里面,如果使用到了外部的自定义类型的变量,那么此时,就要求你的自定义类型,
必须是可序列化的。
final Teacher teacher = new Teacher("yasaka");
studentsRDD.foreach(new VoidFunction() {
public void call(Row row) throws Exception {
String teacherName = teacher.getName();
....
}
});
public class Teacher implements Serializable {
}
2、如果要将自定义的类型,作为RDD的元素类型,那么自定义的类型也必须是可以序列化的
JavaPairRDD<Integer, Teacher> teacherRDD
JavaPairRDD<Integer, Student> studentRDD
studentRDD.join(teacherRDD)
public class Teacher implements Serializable {
}
public class Student implements Serializable {
}
你会看到什么样的序列化导致的报错?
用client模式去提交spark作业,观察本地打印出来的log。如果出现了类似于Serializable、
Serialize等等字眼,报错的log,那么恭喜大家,就碰到了序列化问题导致的报错。
虽然是报错,但是序列化报错,应该是属于比较简单的了,很好处理。
序列化报错要注意的点:
1、你的算子函数里面,如果使用到了外部的自定义类型的变量,那么此时,就要求你的自定义类型,
必须是可序列化的。
final Teacher teacher = new Teacher("yasaka");
studentsRDD.foreach(new VoidFunction() {
public void call(Row row) throws Exception {
String teacherName = teacher.getName();
....
}
});
public class Teacher implements Serializable {
}
2、如果要将自定义的类型,作为RDD的元素类型,那么自定义的类型也必须是可以序列化的
JavaPairRDD<Integer, Teacher> teacherRDD
JavaPairRDD<Integer, Student> studentRDD
studentRDD.join(teacherRDD)
public class Teacher implements Serializable {
}
public class Student implements Serializable {
}
相关文章推荐
- Spark性能优化----troubleshooting之解决各种序列化导致的报错
- Spark优化-troubleshooting-解决各种序列化导致的错误
- Spark性能优化-------troubleshooting之解决算子函数返回NULL导致的问题
- troubleshooting 解决各种序列化导致的错误
- spark出现task不能序列化错误的解决方法
- spark troubleshooting--yarn-client模式导致的网卡流量激增问题
- spark出现task不能序列化错误的解决方法 org.apache.spark.SparkException: Task not serializable
- spark出现task不能序列化错误的解决方法 org.apache.spark.SparkException: Task not serializable
- spark troubleshooting--解决yarn-cluster模式的JVM栈内存溢出问题
- spark troubleshooting--JVM GC导致的shuffle文件拉取失败
- spark troubleshooting--YARN队列资源不足导致的application直接失败
- troubleshooting之解决各种序列化导致的报错
- spark troubleshooting--错误的持久化方式以及checkpoint的使用
- spark troubleshooting--算子函数返回NULL导致问题
- troubleshooting之解决JVM GC导致的shuffle文件拉取失败
- spark出现task不能序列化错误的解决方法 org.apache.spark.SparkException: Task not serializable
- spark出现task不能序列化错误的解决方法
- jfreechart出现ChartDeleter没有序列化问题导致session信息丢失的解决方法
- ExcelServices--解决刷新链接外部数据源的工作簿而导致的错误
- 反序列化时出现“base-64 字符数组的无效长度”错误提示的解决