Spark:宽依赖(shuffle dependency)和窄依赖(narrow dependency)

来源:互联网 发布:淘宝专业模板宝贝装修 编辑:程序博客网 时间:2024/05/29 05:13
  1. 宽依赖是指父RDD的每个分区都可能被多个子RDD分区使用。
  2. 窄依赖是指父RDD的每个分区只被某一个子RDD分区使用。
    这里写图片描述
阅读全文
0 0
原创粉丝点击