对Spark中shuffle机制的浅谈
来源:互联网 发布:mysql 远程连接 编辑:程序博客网 时间:2024/06/05 02:41
Shuffle,洗牌、搅乱的意思。顾名思义就是把有规则或者有顺序的东西,打乱。打过扑克和麻将的童鞋们会有切身的体验。而在Spark中,Shuffle的过程正好相反,它是将一组无规则的数据,变成一个有规则的数据的一个过程。因为Spark是一个并行分布式的计算框架,数据是按照Key进行分区的,一块块的分区分散在集群中的各个节点上,并不是所有的计算算子都满足于按照一种方式分区进行计算。例如,当需要对数据进行排序存储时,就有了重新按照一定规则对数据进行重新分区的必要,Shuffle就是隐藏在那些需要重新分区的计算算子里的一个对数据进行重新组合的过程。
逻辑上
由于重新分区需要知道分区规则,而分区规则按照数据的Key通过映射函数(Hash或者Range等)进行划分,由数据确定出Key的过程就是Map过程,同时Map过程也可以做数据处理。Shuffle将数据进行收集分配到指定Reduce分区,Reduce阶段根据函数对应的分区做Reduce所需的函数处理。
物理上
Shuffle包含了两个阶段:Shuffle Write和Shuffle Fetch。Shuffle Fetch是一个收集的过程,Shuffle Write写入的过程,算是一个重分区的过程。在Spark中,整个Job转化为一个有向无环图来(DAG)执行,在整个DAG中,每个Stage的承接(stage的衔接处)阶段进行Shuffle。Shuffle Write根据下一个Stage的计算情况进行分区。
0 0
- 对Spark中shuffle机制的浅谈
- 对Spark中shuffle机制的浅谈
- Spark的Shuffle机制
- Spark的Shuffle机制
- 【Spark】Spark的Shuffle机制
- Spark Shuffle机制
- 浅谈对spark的理解
- 8-1、Spark-Shuffle机制
- Spark的Shuffle机制(讲得很好哦)
- Spark Shuffle 的调研
- SPARK里的shuffle
- Spark里的shuffle
- Spark的shuffle实现
- 【Spark工作机制详解】 Shuffle机制
- spark中shuffle框架剖析
- spark学习笔记6 spark的shuffle机制(有待补充)
- spark中shuffle的过程------不看你后悔
- mapreduce的shuffle机制
- ajax跨域问题(jsonp(GET提交)以及 CORS (GET POST提交 毫无问题))
- android导入第三方jar后,产生:java.lang.NoClassDefFoundError错误 解决方案
- 多线程的解释
- Python实现简单的http服务器程序
- Javascript定义类(class)的三种方法
- 对Spark中shuffle机制的浅谈
- Android应用开发SharedPreferences存储数据的使用方法
- 线程终止方式
- Sicily1031
- 【课程设计报告】题目0:设计校园两点之间的最小单元路径
- 未来之路
- 线程同步
- 如何编写可维护的面向对象JavaScript代码
- 【c++程序】静态局部变量