Spark学习笔记 --- Spark中宽依赖(Wide deps)与窄依赖(Narrow deps)

来源:互联网 发布:php curl 断点续传 编辑:程序博客网 时间:2024/05/14 11:13

宽依赖(wide dependency):

宽依赖指的是每一个parent RDD 的 Partition会依赖同一个parent RDD的Partition使用。

窄依赖(narrow dependency):

窄依赖是指每一个parent RDD 的 Partition最多被子RDD的一个Partition所使用。


如下图所示:




0 0
原创粉丝点击