RDDs的特性

RDDs的特性

血统关系图

Spark维护这RDDs之间的依赖关系和创建关系，叫做血统关系图

spark使用血统关系图计算每个RDD的需求和恢复丢失的数据

代表着RDD是怎么获得的，而且又做了什么操作

作用：丢失时可以找回

延迟计算：

spark对RDDs的计算是他们第一次使用action操作的时候

处理大数据时非常有用，可以减少数据的传输

spark内部记录metadata表明transformation操作已经被响应了

加载数据也是延迟计算，数据只有在必要时，才被加载进去

RDD.persist() 持久化

默认每次在RDDs上进行action操作时，spark都会重新计算RDDs

如果想重复利用一个RDD，可以使用RDD.persist()

unpersist()方法从缓存中移出

RDD.persist()

缓存级别，

memory only，空间占用高，cpu低

disk only,空间低，CPU高

memory-disk，内存放不下时候，往硬盘里放，空间高，CPU中

memory-disk-ser内存中放不下，往硬盘放，内存中数据是序列化的，空间低，CPU高