Spark优化-troubleshooting-解决各种序列化导致的错误
2017-03-09 10:04
477 查看
troubleshooting 解决各种序列化导致的错误
你会看到什么样的序列化导致的报错?
用client模式去提交spark作业,观察本地打印出来的log。如果出现了类似于Serializable、
Serialize等等字眼,报错的log,那么恭喜大家,就碰到了序列化问题导致的报错。
虽然是报错,但是序列化报错,应该是属于比较简单的了,很好处理。
序列化报错要注意的点:
1、你的算子函数里面,如果使用到了外部的自定义类型的变量,那么此时,就要求你的自定义类型,
必须是可序列化的。
final Teacher teacher = new Teacher("yasaka");
studentsRDD.foreach(new VoidFunction() {
public void call(Row row) throws Exception {
String teacherName = teacher.getName();
....
}
});
public class Teacher implements Serializable {
}
2、如果要将自定义的类型,作为RDD的元素类型,那么自定义的类型也必须是可以序列化的
JavaPairRDD<Integer, Teacher> teacherRDD
JavaPairRDD<Integer, Student> studentRDD
studentRDD.join(teacherRDD)
public class Teacher implements Serializable {
}
public class Student implements Serializable {
}
你会看到什么样的序列化导致的报错?
用client模式去提交spark作业,观察本地打印出来的log。如果出现了类似于Serializable、
Serialize等等字眼,报错的log,那么恭喜大家,就碰到了序列化问题导致的报错。
虽然是报错,但是序列化报错,应该是属于比较简单的了,很好处理。
序列化报错要注意的点:
1、你的算子函数里面,如果使用到了外部的自定义类型的变量,那么此时,就要求你的自定义类型,
必须是可序列化的。
final Teacher teacher = new Teacher("yasaka");
studentsRDD.foreach(new VoidFunction() {
public void call(Row row) throws Exception {
String teacherName = teacher.getName();
....
}
});
public class Teacher implements Serializable {
}
2、如果要将自定义的类型,作为RDD的元素类型,那么自定义的类型也必须是可以序列化的
JavaPairRDD<Integer, Teacher> teacherRDD
JavaPairRDD<Integer, Student> studentRDD
studentRDD.join(teacherRDD)
public class Teacher implements Serializable {
}
public class Student implements Serializable {
}
相关文章推荐
- Spark性能优化----troubleshooting之解决各种序列化导致的报错
- troubleshooting 解决各种序列化导致的错误
- spark troubleshooting--解决各种序列化导致的错误
- troubleshooting之解决各种序列化导致的报错
- spark出现task不能序列化错误的解决方法 org.apache.spark.SparkException: Task not serializable
- spark出现task不能序列化错误的解决方法 org.apache.spark.SparkException: Task not serializable
- Spark程序运行常见错误解决方法以及优化
- Spark优化-troubleshooting-错误的持久化方式以及checkpoint的使用
- Spark程序运行常见错误解决方法以及优化
- spark出现task不能序列化错误的解决方法
- Spark性能优化-------troubleshooting之解决算子函数返回NULL导致的问题
- Spark优化-troubleshooting 解决算子函数返回NULL导致问题
- Spark优化-troubleshooting-解决yarn-cluster模式的JVM栈内存溢出问题
- Spark程序运行常见错误解决方法以及优化
- spark出现task不能序列化错误的解决方法
- spark出现task不能序列化错误的解决方法 org.apache.spark.SparkException: Task not serializable
- 解决mnist各种错误,优化提升
- Spark程序运行常见错误解决方法以及优化
- Spark面对OOM问题的解决方法及优化总结
- Android studio 解决各种错误