YARN - 比较 YARN 与 MapReduce 1
来源:互联网 发布:远程办公软件 编辑:程序博客网 时间:2024/05/17 03:23
比较 YARN 与 MapReduce 1
主要区别就是 YARN 把 MR1 中的 Jobtracker 的职责分给了其他三个组件。分而治之,减少组件间的强耦合,会得到许多的好处。
YARN 与 MapReduce 1 对应组件
使用 YARN 的好处
扩展性好
YARN 能够运行在比 MR1 更大的集群上。 MR1 的上限是 4000 节点 与 40000 个 task。而 YARN 的上限是 10000 个节点与 100000 个 task。
高可用性
在 MR1 中,job 的复杂的状态的改变都发生在 jobtracker 中的内存中,一旦 jobtracker 坏了,就很难再恢复。
而在 YARN 里,jobtracker 的职责分给了 resource manager 和 application master。这样可以为两个组件分别提供高可用。对每个组件发生的错误分别处理,互相不影响。
资源利用率高
在 MR1 中, 每一个 tasktracker 在配置阶段会固定的为 map 或者 reduce task 静态的分配资源,也就是 “槽”。因为每个应用程序所需要的资源并不是完全一样,这样有时会造成资源分配过大,资源浪费,资源分配过小,会导致任务失败。
在 YARN 中,资源由 resource manager 管理,应用程序会请求他所需要的资源。
多应用
YARN 中最大的好处就是可以在其上开启除 Mapreduce 之外的分布式应用程序,比如 Spark。
也可能为用户在一个 YARN 上运行不同版本的 MapReduce。
End!!
0 0
- YARN - 比较 YARN 与 MapReduce 1
- yarn与第一代mapreduce比较
- YARN与MapReduce
- mapreduce与mapreduceV2/yarn
- MapReduce 1 VS YARN
- YARN与MapReduce的区别
- Mapreduce与Yarn 原理分析
- 【MR】MapReduce 1 与 MapReduce 2(YARN)框架对比
- 【MR】MapReduce 1 与 MapReduce 2(YARN)框架对比
- 原MapReduce与YARN比对
- 从hadoop MapReduce 1.0到yarn (1)
- Hadoop Mapreduce 2.0 Yarn
- YARN MapReduce MRAppMaster-剖析
- mapreduce yarn内存参数
- Yarn MapReduce内存分配
- mapreduce yarn内存参数
- MapReduce YARN Memory Parameters
- mapreduce yarn内存参数
- MySQL批处理sql文件时data too long for column问题
- [Verilog]ADC0809驱动程序
- 关于angularjs+ueditor的一个bug
- 科比罚篮,武器命中和霍金劫数
- JavaScript window.location IE谷歌跳转路径不兼容
- YARN - 比较 YARN 与 MapReduce 1
- 【WPF】使用Popup控件做浮窗/提示框
- 0. spark源码学习分享 前言
- 1295: Fengsensei的测试
- iOS APP删除系统相册中选中的图片-姬云鹏
- hpuoj-1010-QAQ的序列价值【状压】【数学组合】
- 容器+位异或 HDU 2095 find your parents(2)
- sh脚本:批量ping
- 文本数据的机器学习自动分类方法(上)