RDD 宽依赖 , 和窄依赖
来源:互联网 发布:linux服务器增加硬盘 编辑:程序博客网 时间:2024/05/16 05:04
RDD 宽依赖------ 一个子Rdd 依赖很多父RDD 也就是说这个 子RDD 是由很多父RDD 来组成的,所以, 他不好做优化,一般是需要做shuffle的操作, 这个shuffle的操作,很浪费时间,希望spark也做了优化把。。嗯嗯,
RDD 窄依赖------ 一个子的RDD 只有一个父亲,不是这么说,应该说是一个父亲 RDD 有且只传递给一个子RDD, 对吧,嗯嗯, 这样 比较容易优化,我们举个例子, 假如有四个RDD ------ A ----B-----C-----D 分别依赖, 这个时候,MR模型的话,可能是这样的 1+1 =2+1=3+1=4 但是我们的 spark 是会做pipline优化的额, 直接1+1+1+1 =4 ,这样明显速度提升了很多
0 0
- RDD 宽依赖 , 和窄依赖
- RDD理解及宽依赖和窄依赖
- RDD的依赖关系、窄依赖、宽依赖、RDD的缓存、RDD缓存方式、DAG的生成、RDD容错机制之Checkpoint
- 深入理解Spark之RDD的款依赖和窄依赖
- Spark中窄依赖和宽依赖
- 窄依赖和宽依赖图
- Spark 中的宽依赖和窄依赖
- Spark 中的宽依赖和窄依赖
- spark的宽依赖和窄依赖
- Spark中宽依赖和窄依赖
- Spark 中的宽依赖和窄依赖
- Spark 中的宽依赖和窄依赖
- Spark中的宽依赖和窄依赖
- Spark --【宽依赖和窄依赖】
- 【Spark】窄依赖和宽依赖区别
- RDD的依赖关系
- RDD的依赖关系
- Spark RDD 依赖关系
- cf-467B. Fedor and New Game
- Centos通过phpize安装php扩展
- MYSQL explain详解
- UVa10603 - Fill
- JQuery设置CSS
- RDD 宽依赖 , 和窄依赖
- 搜索--HDU简单DFS
- 【C语言】递归实现。
- 那些年接入Google程序内购买遇到的坑
- Ext.form.FieldSet字段集
- MySQL索引背后的数据结构及算法原理
- 分布式系统互斥算法---分布式算法
- 软件下载 itellyou
- Hbase安装过程中遇到的问题