spark: Task not serializable (java)
来源:互联网 发布:鼠标自动点击软件 mac 编辑:程序博客网 时间:2024/06/07 10:10
spark程序用scala要比java方便的多,无奈java不熟,Scala不会。而每次遇到的坑,找半天,总是scala版本。
Task not serializable:没有进行序列化
org.apache.spark.SparkException: Task not serializable
原因有2点:
1.使用的map,filter等RDD操作里引用了外部定义的变量,例如:
String testT = "test";
JavaRDD<Document> filterParkingRdd = collRdd.filter(new Function<Document, Boolean>() {
private static final long serialVersionUID = 1L;
@Override
public Boolean call(Document doc) throws Exception {
String testTime = doc.getString(testT);
if (testTime != null) {
return true;
}
return false;
}
});
代码中定义了一个外部变量testT,RDD内部操作使用了这个变量,所以导致未序列化。
2.RDD中没有调用外部定义的变量,仍然报错。
其实第一种情况一般不会发生,因为在这之前,已经发生第二种情况。
解决方案:
在类上实现序列化接口:public class MessageCorrectness implements Serializable
阅读全文
0 0
- spark: Task not serializable (java)
- Spark Java sortByKey二次排序及Task not serializable异常
- spark出现task org.apache.spark.SparkException: Task not serializable
- org.apache.spark.SparkException: Task not serializable
- spark出现“org.apache.spark.SparkException: Task not serializable"
- spark + quartz : org.apache.spark.SparkException: Task not serializable
- Spark[二]:org.apache.spark.SparkException: Task not serializable
- Task not serializable:java.io.NotSerializableExceptionon
- Task not serializable exception while running apache spark job
- Spark Insert Hbase解决task not to serializable
- org.apache.spark.SparkException: Task not serializable问题分析
- Spark task not serializable错误的分析和处理
- spark出现task不能序列化错误的解决方法 org.apache.spark.SparkException: Task not serializable
- Task not serializable
- spark学习-52-Spark的org.apache.spark.SparkException: Task not serializable
- Spark Task未序列化(Task not serializable)问题分析及解决
- Spark运行程序异常信息: org.apache.spark.SparkException: Task not serializable 解决办法
- Exception in thread "main" org.apache.spark.SparkException: Task not serializable异常
- CentOS7.2 安装mysql,并配置自动启动和远程访问
- 添加到Embedded Binaries的框架也需要加到"Link Binary With Libraries"列表
- 最小的K个数(数组)
- 破解 geetest(极验)的滑块验证码
- DOM DOM概述
- spark: Task not serializable (java)
- 浅谈安卓自定义view(一):制作一个最最最简单的自定义view
- [Leetcode] 441. Arranging Coins 解题报告
- 简单的多线程多点下载
- Ubuntu中使用virtualenv
- x264-settings
- 记录用户的商品浏览记录(Linkedlist,删除cookie)
- Shell逐行处理文件的最后一行
- C语言选择排序详解及其实现笔记