spark中的序列化器

来源:互联网 发布:比价软件推荐 编辑:程序博客网 时间:2024/06/05 14:25
//指定序列化处理类sparkConf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")  //注册自定义类交给KryoSerializer序列化处理类进行序列
spark

.registerKryoClasses(Array(classOf[xxxx]))
xxxx--->是需要序列化的类
spark-2.1.0-bin-hadoop2.7 中的序列化器比 Java 中的Serializable 更强悍
原创粉丝点击