hadoop的关键进程
来源:互联网 发布:美国国父路易十六 知乎 编辑:程序博客网 时间:2024/06/05 07:30
hadoop集群中主要进程有
master: NameNode, ResourceManager,
slaves: DataNode, NodeManager, RunJar, MRAppMaster,YarnChild
其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建,随着job的完成而终止。它们的作用分别是:
RunJar:完成job的初始化,包括获取jobID,将jar包上传至hdfs等。
MRAppMaster:每个job一个进程,主要跟踪job的运行情况,向RM申请资源等。
YarnChild:运行具体的map/reduce task。
job启动过程:
ResourceManage,NodeManager->RunJar->MRAppMaster->YarnChild
job退出过程:
YarnChild->MRAppMaster->RunJar
即所有的map/reduce均完成后,MRAppMaster才退出,最后RunJar退出,job完成。
网上找到的一些示意图:
图1
图2
master: NameNode, ResourceManager,
slaves: DataNode, NodeManager, RunJar, MRAppMaster,YarnChild
其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建,随着job的完成而终止。它们的作用分别是:
RunJar:完成job的初始化,包括获取jobID,将jar包上传至hdfs等。
MRAppMaster:每个job一个进程,主要跟踪job的运行情况,向RM申请资源等。
YarnChild:运行具体的map/reduce task。
job启动过程:
ResourceManage,NodeManager->RunJar->MRAppMaster->YarnChild
job退出过程:
YarnChild->MRAppMaster->RunJar
即所有的map/reduce均完成后,MRAppMaster才退出,最后RunJar退出,job完成。
网上找到的一些示意图:
图1
图2
0 0
- hadoop的关键进程
- hadoop的关键进程
- hadoop的关键进程
- Hadoop守护进程的关键属性
- hadoop关键进程
- hadoop关键进程
- Hadoop安装的关键
- 已知的Hadoop关键配置
- Hadoop 安装的几个关键点
- 系统关键进程的查看和比较
- linux守护进程的几个关键地方
- linux守护进程的几个关键地方
- linux守护进程的几个关键地方
- hadoop的五个守护进程
- hadoop各个进程的作用
- Hadoop系统的守护进程
- Hadoop的几个守护进程
- hadoop的五个守护进程
- 自定义spinner
- 【仿去哪儿】骆驼动画加载
- libxml2 的一个简单示例
- MyBatis学习总结(六)——调用存储过程
- Codeforces Round #306 (Div. 2) E - Brackets in Implications 构造
- hadoop的关键进程
- 线程简介
- android项目导入后,遇到gen already exists but is not a source folder. Convert to a source folder or rename
- HDU ACM 1025 Constructing Roads In JGShining's Kingdom->二分求解LIS+O(NlogN)
- java中基础技术学习笔记
- ListView流畅
- 浅析C++中this指针
- ArcGIS操作——object name is not a regular identifier for underlaying DBMS[ArcGIS企业级数据导入错误]
- 接口和抽象类的区别