两种yarn集群提交方式
来源:互联网 发布:淘宝卖家寄快递怎么做 编辑:程序博客网 时间:2024/06/09 20:37
- yarn
yarn是一种新的hadoop资源管理器,包括
一个全局的资源管理器ResourceManager,ResourceManager的每个节点代理NodeManager,
每个应用的APplicationMaster,
每个ApplicationMaster拥有多个Container在NodeManager上运行 - yarn-client提交模式
一般用于测试,在本地启动driver,发送请求给RM,请求启动AM,RM分配一个container在某个NM上,启动AM(ExecutorLauncher),RM分配一批container,AM连接其他NM,使用container资源启动executor,executor反向注册到本地的driver上。由于driver运行在本地,可方便看到所有日志方便调试,同时,调度application时,会与yarn集群产生大量的网络通信。 - yarn-cluster提交模式
发送请求给RM,请求启动AM,RM分配container在某个NM上,启动AM,RM启动一批container,AM找RM请求container,启动executor,executor向AM反向注册。此时AM相当于driver。不方便看日志,driver运行在集群,没有网络通信问题。
阅读全文
0 0
- 两种yarn集群提交方式
- Spark on yarn--几种提交集群运行spark程序的方式
- spark基础之基于yarn两种提交模式分析
- 两种方式解决表单重复提交
- easyui form 表单提交两种方式
- Form表单提交的两种方式
- form表单的两种提交方式
- form表单提交两种方式
- form的两种提交方式
- git提交代码的两种方式
- form表单提交的两种方式
- (17)mapreduce 提交任务两种方式
- Flink提交作业的两种方式
- form表单提交的两种方式
- 表单提交的两种方式
- Spark on yarn 提交应用的方式
- get post 表单提交 NameValueCollection 兼容两种提交方式
- 浏览器在提交form表单时有两种提交方式
- Spring 改版后下载地址
- 配置hadoop环境相关
- tcc-transaction分布式TCC型事务框架搭建与使用记录
- 苹果内购1(ituns connect 配置部分)
- Solving the Last Item Problem for a Circular Distribution with Partially Overlapping Items
- 两种yarn集群提交方式
- 【Mysql】设备首页统计展示
- 关于基线版本
- 保留小数点2位,四舍五入,java
- Sql server高级查询
- POJ11251---Jungle Roads(最小生成树)
- Android音频框架笔记
- HttpServletRequestWrapper 编码问题
- LeetCode刷题记录 First Missing Positive