Hadoop中的Yarn
来源:互联网 发布:sql库位库存分配 编辑:程序博客网 时间:2024/05/16 03:32
一:部署
1,nodeManager在物理机上应该跟datanode在一起
map端将来会到HDFS上读取数据
reduce端将来会写数据到HDFS上
2,resource Manager 应该独立部署在一台物理机上。
二:说明
1,yarn是一个分布式程序的运行调度平台。
2,yarn集群就安装在HDFS集群的机器上
3,角色分配
resource manager 1,接收用户提交的分布式计算程序,并为其划分资源
2,管理监控各个node manager上的资源情况,以便于均衡负载。
node manager 1,管理其所在机器上的运算资源。(cpu ,内存)
2,负责接收resource manager 分配的任务,创建容器,回收资源。
4,划分资源时,为了更好的描述,yarn中抽象了一个概念,容器:container
将MR程序提交到yarn集群上运行,Yarn会启动master,master然后启动worker。
阅读全文
0 0
- Hadoop中的YARN
- Hadoop中的Yarn
- Hadoop v2(Yarn)中的快速Crc32
- Hadoop 2.0 (YARN)中的安全机制概述
- 深入理解Hadoop YARN中的Container概念
- 深入理解Hadoop YARN中的Container概念
- 深入理解Hadoop YARN中的Container概念
- 深入理解Hadoop YARN中的Container概念
- 深入理解Hadoop YARN中的Container概念
- 深入理解Hadoop YARN中的Container概念
- Hadoop YARN
- Hadoop YARN
- Hadoop-yarn
- hadoop yarn
- Hadoop ---- YARN
- Hadoop Yarn
- 关于 hadoop-2.2 配置中的 yarn.nodemanager.aux-services 项
- hadoop中job提交在yarn中的运行过程
- python---字典
- VC编译问题:0xC0000005
- Android关键字persistent
- Keras中文文档知识点整理
- Qt+ffmpeg仿格式工厂:编程中遇到的问题(五)
- Hadoop中的Yarn
- oracle从入门到放弃
- 视图
- C++STL库 vector map list 使用方法
- 次小生成树 prim和kruskal
- BeautifulSoup库入门级方法
- bzoj 1634: [Usaco2007 Jan]Protecting the Flowers 护花(贪心排序)
- 背包九讲系列2——混合背包、二维费用背包、分组背包
- [JS] JS递归常见问题