Hadoop 核心介绍

来源：互联网发布：英国谢菲尔德大学知乎编辑：程序博客网时间：2024/05/21 09:46

Hadoop各个核心项目架构

hdfs2的架构

负责数据的分布式存储，主从结构

主节点-------->namenode

可以有两个①接收用户的请求操作，使用户操作入口②维护文件系统目录结构，称为命名空间。

从节点-------->datanode

至少一个，存储真实数据。

Yarn的结构

是一个资源调度和管理的平台，也是只从结构

主节点-------->resourcemanager

可以有两个①集群资源的分配和调度②MR，storm，spark等应用，想要被RM必须实现ApplicationMaster接口。

从节点------->nodemanager

可以有多个主要是单节点资源的管理。

MapReduce的架构

依赖于磁盘IO的批处理计算模型，只有一个主节点-MRAppManager

①接收客户端提交的计算任务②把计算任务分给nodemanager中的container执行，即任务调度。③监控task的执行情况

阅读全文

0 0