spark性能调优之使用Kryo序列化
来源:互联网 发布:淘宝装修店招全屏代码 编辑:程序博客网 时间:2024/06/10 02:31
在SparkConf中设置一个属性,spark.serializer,org.apache.spark.serializer.KryoSerializer类;注册你使用到的,需要通过Kryo序列化的,
一些自定义类,SparkConf.registerKryoClasses()
SparkConf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
.registerKryoClasses(new Class[]{CategorySortKey.class})
Kryo之所以没有被作为默认的序列化类库的原因,就要出现了:主要是因为Kryo要求,如果要达到它的最佳性能的话,那么就一定要注册你自定义的类(比如,你的算子函数中使用到了外部自定义类型的对象变量,这时,就要求必须注册你的类,否则Kryo达不到最佳性能)。
当使用了序列化的持久化级别时,在将每个RDD partition序列化成一个大的字节数组时,就会使用Kryo进一步优化序列化的效率和性能。默认情况下,Spark内部是使用Java的序列化机制,ObjectOutputStream / ObjectInputStream,对象输入输出流机制,来进行序列化。
这种默认序列化机制的好处在于,处理起来比较方便;也不需要我们手动去做什么事情,只是,你在算子里面使用的变量,必须是实现Serializable接口的,可序列化即可。但是缺点在于,默认的序列化机制的效率不高,序列化的速度比较慢;序列化以后的数据,占用的内存空间相对还是比较大。
Spark支持使用Kryo序列化机制。Kryo序列化机制,比默认的Java序列化机制,速度要快,序列化后的数据要更小,大概是Java序列化机制的1/10
。所以Kryo序列化优化以后,可以让网络传输的数据变少;在集群中耗费的内存资源大大减少。在进行stage间的task的shuffle操作时,节点与节点之间的task会互相大量通过网络拉取和传输文件,此时,这些数据既然通过网络传输,也是可能要序列化的,就会使用Kryo。
Kryo序列化机制,一旦启用以后,会生效的几个地方:
1、算子函数中使用到的外部变量,使用Kryo以后:优化网络传输的性能,可以优化集群中内存的占用和消耗
2、持久化RDD,StorageLevel.MEMORY_ONLY_SER优化内存的占用和消耗;持久化RDD占用的内存越少,task执行的时候,创建的对象,就
不至于频繁的占满内存,频繁发生GC。
2、持久化RDD,StorageLevel.MEMORY_ONLY_SER优化内存的占用和消耗;持久化RDD占用的内存越少,task执行的时候,创建的对象,就
不至于频繁的占满内存,频繁发生GC。
3、shuffle:可以优化网络传输的性能,
0 0
- spark性能调优之使用Kryo序列化
- Spark---性能调优之使用Kryo序列化
- Spark性能调优之——在实际项目中使用Kryo序列化
- Spark性能调优:使用Kryo序列化库、RDD的压缩
- 52.性能调优之Kryo序列化
- [Spark优化]在Spark中使用Kryo序列化
- 使用kryo序列化
- Spark的Kryo序列化注册
- spark 使用kryo
- Java 序列化--- Kryo使用简单例子
- 序列化框架的使用及性能对比Kryo、Hessian、Protostuff、java原生
- 在Spark中自定义Kryo序列化输入输出API
- 在Spark中自定义Kryo序列化输入输出API
- Kryo 序列化类
- Kryo序列化
- 序列化框架性能对比(kryo、hessian、java、protostuff)
- Java kryo/protobuf/protostuff序列化 or Json 性能对比
- java序列化框架性能对比(kryo,hessian,Protostuff)
- JAVA并发编程学习笔记之Unsafe类
- 【IOS开发填坑】解决更新新版本Xcode之后使用Git报错的问题
- rsyslog 同步丢失问题
- 高斯消元模板
- 对话框
- spark性能调优之使用Kryo序列化
- [LeetCode]401. Binary Watch
- ubuntu 16.04安装字体
- 由.detectMultiScale()函数调试引起的异常问题的解决方案
- LinkedHashMap源码分析(一)
- 贪心POJ3069
- iOS的AssetsLibrary框架访问所有相片
- 谷歌离线地图发布服务器
- HDU 3722 Card Game