Spark本地化调度
来源：互联网 发布：马云淘宝的成功 编辑：程序博客网 时间：2024/06/10 15:44
Spark的task一般都会分发到它所需数据的那个节点，这称之为”NODE_LOCAL”。
但在资源不足的情况下，数据所在节点未必有资源处理task，因此Spark在等待了“spark.locality.wait”所配置的时间长度后，会退而求其次，分发到数据所在节点的同一个机架的其它节点上，这是“RACK_LOCAL”。
当然，也有更惨的，就是再等了一段“spark.locality.wait”的时间长度后，干脆随便找一台机器去跑task，这就是“ANY”策略了。
来自： Spark技术日报-Spark Streaming应用与实战全攻略
阅读全文
0 0
- Spark本地化调度
- [spark] 数据本地化及延迟调度
- Spark的数据本地化
- spark 调度
- Hadoop文件切片与调度本地化
- spark internal - 作业调度
- spark internal - 作业调度
- spark任务调度
- Spark的任务调度
- Spark任务调度
- Spark集群资源调度
- 008-spark 的调度
- Spark 的调度策略
- spark作业调度
- spark任务调度
- spark调度管理
- spark 作业调度
- Spark资源调度
- LeetCode题解(Week 16):3. Longest Substring Without Repeating Characters
- 列表视图控件（List Control）
- 软考题型汇总
- javascript中apply和call方法的作用及区别说明
- hdoj 1091
- Spark本地化调度
- 【linux】安装jdk
- js实现找出字符串中出现字数最多的字符并计算其出现次数
- 悬浮框vue
- Android事件分发机制
- 网络端口分类
- 微信内置浏览器 长按识别二维码 的问题与解决方案
- 各大电商系统架构进化之路
- Python使用jieba分词并用weka进行文本分类
