spark Streaming 存储级别定义StorageLevel
来源:互联网 发布:詹姆斯下赛季数据 编辑:程序博客网 时间:2024/06/05 20:22
目前在kafka
存储级别选项如下:
存储级别选项如下:
MEMORY_ONLY_2,
MEMORY_AND_DISK_2, etc.
以MEMORY_ONLY_2为例,MEMORY_ONLY_2相比于MEMORY_ONLY存储数据的方式是相同的,不同的是会将数据备份到集群中两个不同的节点,其余情况类似。OFF_HEAP(experimental)RDD的数据序例化之后存储至Tachyon。相比于MEMORY_ONLY_SER,OFF_HEAP能够减少垃圾回收开销、使得Spark Executor更“小”更“轻”的同时可以共享内存;而且数据存储于Tachyon中,Spark集群节点故障并不会造成数据丢失,因此这种方式在“大”内存或多并发应用的场景下是很有吸引力的。需要注意的是,Tachyon并不直接包含于Spark的体系之内,需要选择合适的版本进行部署;它的数据是以“块”为单位进行管理的,这些块可以根据一定的算法被丢弃,且不会被重建。 0 0
- spark Streaming 存储级别定义StorageLevel
- spark的StorageLevel注解
- spark 2.1 StorageLevel
- spark的StorageLevel源码分析
- [spark streaming] ReceiverTracker 数据产生与存储
- Spark源码之persist方法,cache方法以及StorageLevel
- Spark Streaming
- spark streaming
- Spark/Streaming
- Spark Streaming
- spark streaming
- Spark Streaming
- Spark Streaming
- Spark Streaming
- Spark Streaming
- spark streaming
- Spark Streaming
- Spark Streaming
- 苹果开发者账号申请与简介
- scp从服务器下载文件到本地或从本地上传文件到服务器
- 几种常见的Shell
- this用法
- Camera实现滤镜方法探讨-Android
- spark Streaming 存储级别定义StorageLevel
- 滴滴笔试-地下迷宫
- Python filter 和map
- 使用Fragment实现tabhost效果
- Linux下的 FTP
- 【那些年遇到过的面试题】考虑如何将一个vector 赋给另一个vector
- 71. Simplify Path
- 远程通信的几种选择(RPC,Webservice,RMI,JMS的区别)
- c_str