hadoop的关键进程
来源:互联网 发布:中国域名管理中心 编辑:程序博客网 时间:2024/06/04 22:47
hadoop集群中主要进程有
master: NameNode, ResourceManager,
slaves: DataNode, NodeManager, RunJar, MRAppMaster,YarnChild
其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建,随着job的完成而终止。它们的作用分别是:
RunJar:完成job的初始化,包括获取jobID,将jar包上传至hdfs等。
MRAppMaster:每个job一个进程,主要跟踪job的运行情况,向RM申请资源等。
YarnChild:运行具体的map/reduce task。
job启动过程:
ResourceManage,NodeManager->RunJar->MRAppMaster->YarnChild
job退出过程:
YarnChild->MRAppMaster->RunJar
即所有的map/reduce均完成后,MRAppMaster才退出,最后RunJar退出,job完成。
网上找到的一些示意图:
图1
图2
master: NameNode, ResourceManager,
slaves: DataNode, NodeManager, RunJar, MRAppMaster,YarnChild
其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建,随着job的完成而终止。它们的作用分别是:
RunJar:完成job的初始化,包括获取jobID,将jar包上传至hdfs等。
MRAppMaster:每个job一个进程,主要跟踪job的运行情况,向RM申请资源等。
YarnChild:运行具体的map/reduce task。
job启动过程:
ResourceManage,NodeManager->RunJar->MRAppMaster->YarnChild
job退出过程:
YarnChild->MRAppMaster->RunJar
即所有的map/reduce均完成后,MRAppMaster才退出,最后RunJar退出,job完成。
网上找到的一些示意图:
图1
图2
0 0
- hadoop的关键进程
- hadoop的关键进程
- hadoop的关键进程
- Hadoop守护进程的关键属性
- hadoop关键进程
- hadoop关键进程
- Hadoop安装的关键
- 已知的Hadoop关键配置
- Hadoop 安装的几个关键点
- 系统关键进程的查看和比较
- linux守护进程的几个关键地方
- linux守护进程的几个关键地方
- linux守护进程的几个关键地方
- hadoop的五个守护进程
- hadoop各个进程的作用
- Hadoop系统的守护进程
- Hadoop的几个守护进程
- hadoop的五个守护进程
- TP的多表查询+分页范例
- 关于Nios中对EPCS进行flash烧写出现以下错误Error: Error code: 8 for command: nios2-flash-programmer...的解决办法
- 公钥,私钥和数字签名这样最好理解
- SSD 之BBM坏块管理机制
- HIVE快速入门
- hadoop的关键进程
- sqoop 1.4.4-cdh5.1.2快速入门
- 蓝牙相关技术概述
- android 状态栏及通知栏中的下载动画效果实现
- iOS 通知 NSNotification
- Audio--- HTML5环形音乐播放器
- 进入房间报错。
- 最好用的SAT数学解题方法
- Android学习记录之------R文件的优化