YARN-01-YARN概述
来源:互联网 发布:软件系统可靠性指标 编辑:程序博客网 时间:2024/05/22 15:42
翻译自:http://hadoop.apache.org/docs/r2.2.0/
说明:本人水平有限,不对任何专有名词翻译,如有任何错误,麻烦帮忙指正,谢谢。
Apache Hadoop 2.2.0比前一个稳定版本(hadoop-1.x)包含了重大的改进。
下面是HDFS和MapReduce改进的概述:
HDFS Federation
为了命名服务可以水平化扩展,HDFS Federation使用多个独立的namenode/namespace。namenode是联盟的,也就是独立的、不需要彼此协作。datanode使用所有的namenode用作通用的块存储。每个datanode向集群中的所有namenode注册。datanode发送定期的心跳包和块报告,并且处理来自namenode的命令。
更多详细信息请参阅HDFS Federation文档。
下一代MapReduce,也称YARN或MRv2
早在hadoop-0.23引入了新框架,新框架把JobTracker的两个主要功能分成独立的组件,这两个主要功能分别是资源管理和作业生命周期管理。
新的ResourceManager管理着程序的计算资源的全局分配,每个程序的ApplicationMaster管理着程序的调度和协作。
一个应用在某种意义上是经典MapReduce作业中的单个作业,或者这些作业中的一个DAG(Directed Acyclic Graph,有向无环图)。
ResourceManager和在每台机器上管理着用户处理的NodeManager守护进程,形成了计算的基本结构。
每个程序的ApplicationMaster实际是一个特定的框架库,负责与ResourceManager协商资源并且与NodeManager执行、监控任务。
更多详细信息请参阅YARN文档。
- YARN-01-YARN概述
- YARN概述
- YARN
- yarn
- yarn
- yarn
- yarn
- YARN
- YARN
- Yarn
- yarn
- YARN
- YARN
- YARN
- YARN
- YARN
- yarn
- yarn
- monit配置文件命令学习
- oracle视图总结
- VC对话框使用技巧
- 百练---自整除数----2699
- 电子工程师
- YARN-01-YARN概述
- linux 命令 待续、、
- Linux虚拟内存-brk/sbrk
- 中国式秘书(文摘)
- Android解决:使用真机调试程序时,安装程序失败
- 锁存器、触发器、寄存器和缓冲器
- 黑马程序员_面向对象2_(继承、多态、抽象类abstract、接口interface、内部类)
- FPGA查找表
- RedHat Linux下QStarDict的安装