Hadoop各个核心项目架构

hdfs 的数据写的过程

HDFS2的架构

负责对数据的分布式存储，主从结构
主节点——namenode
可以有2个，负责内容：
1)接收用户的请求操作，使用户操作的入口
2)维护文件系统的目录结构，称为命名空间
从节点——datanode
至少一个，只干一件事：存储数据

Yarn的架构

是一个资源的调度和管理平台，也是主从结构
主节点——ResourceManager
可以有2个，主要负责：
1)集群资源的分配和调度
2)MR、Storm、Spark等应用，要想被RM管理，必须实ApplicationMaster接口
从节点——NodeManager
可以有多个，主要就是单节点资源的管理。

MapReduce的架构

依赖于磁盘IO的批处理计算模型，只有一个主节点——MRAppMaster，主要负责：
1)接收客户端提交的计算任务
2)把计算任务分给NodeManager中的Container执行，即任务调度
3)监控Task的执行情况