Hadoop 2.0中Capacity Scheduler与Fair Scheduler对比
来源:互联网 发布:vs2017如何编写c语言 编辑:程序博客网 时间:2024/06/06 06:19
随着Hadoop版本的演化,Fair Scheduler和Capacity Scheduler的功能越来越完善,包括层级队列组织方式、资源抢占、批量调度等,也正因如此,两个调度器同质化越来越严重,目前看了,两个调度器从设计到支持的特性等方面非常接近,而由于Fair Scheduler支持多种调度策略,现在看来,可以认为Fair Scheduler具备了Capacity Scheduler具有的所有功能。
下表从多个方面对比了Hadoop 2.0(YARN)中这两个调度器的异同,通过这个表读者能更好地理解Capacity Scheduler与Fair Scheduler的相同点和不同点。
其中,FIFO、FAIR和DRF分别是指先来先服务、公平调度和主资源公平调度,具体含义如下:
FIFO:先按照优先级高低调度,如果优先级相同,则按照提交时间先后顺序调度,如果提交时间相同,则按照(队列或者应用程序)名称大小(字符串比较)调度;
FAIR:按照内存资源使用量比率调度,即按照used_memory/minShare大小调度(核心思想是按照该调度算法决定调度顺序,但还需考虑一些边界情况);
DRF:借鉴了Mesos中的设计策略,按照主资源公平调度算法进行调度,具体已经在Apache Mesos调度器机制进行了介绍。
【总结】在MRv1和YARN中,尽管Fair Scheduler和Capacity Scheduler均是插拔式的,且实现原理基本一致,但由于YARN采用了事件驱动的编程模型,因此,它的资源调度器设计更加复杂,它要求用户不仅要了解基本的编程接口,还要理解ResourceManager与资源调度器之间基于事件的交互逻辑。
转载自董的博客
0 0
- Hadoop 2.0中Capacity Scheduler与Fair Scheduler对比
- Hadoop Fair Scheduler
- hadoop Capacity Scheduler使用手记
- hadoop Capacity Scheduler使用手记
- hadoop Capacity Scheduler解析
- Hadoop Capacity Scheduler配置与使用
- hadoop Capacity Scheduler 完整配置
- hadoop scheduler.capacity queues 配置
- Fair Scheduler
- Hadoop权威指南读书笔记(2) — Yarn简介及Capacity & Fair Scheduler
- Hadoop多用户资源管理–Fair Scheduler介绍与配置
- Hadoop多用户资源管理–Fair Scheduler介绍与配置
- Hadoop Yarn多用户资源管理–Fair Scheduler介绍与配置
- Hadoop Yarn多用户资源管理–Fair Scheduler介绍与配置
- 配置hadoop 使用fair scheduler调度器
- 配置hadoop 使用fair scheduler调度器
- Improvements in the Hadoop YARN Fair Scheduler
- hadoop配置fair-scheduler的方法
- maven打包时出现编码GBK的不可映射字符
- 巧用Drawable 实现Android UI 元素间距效果
- 使用 Optim 在 Bluemix 应用程序中建立数据隐私保护
- js中的逻辑与(&&)操作
- JAVA 字节顺序转换
- Hadoop 2.0中Capacity Scheduler与Fair Scheduler对比
- 循环-08. 二分法求多项式单根(20)
- ppt怎么转换成pdf方法介绍
- linux date 显示指定时区的时间 借助TZ 环境变量 export TZ=Asia/Shanghai 或 America/New_York
- 要养成习惯懒加载数据
- 遇到的问题
- <java与模块>第三章面向对象设计原则笔记
- Repository
- Python基础语法笔记