Hadoop组件

Hadoop组件角色组成

Hadoop的集群主要由 NameNode,DataNode,Secondary NameNode,JobTracker,TaskTracker组成。

（1）NameNode中记录了文件是如何被拆分成block以及这些block都存储到了那些DateNode节点.

（2）NameNode同时保存了文件系统运行的状态信息.

（3）DataNode中存储的是被拆分的blocks.

（4）Secondary NameNode帮助NameNode收集文件系统运行的状态信息.

（5）JobTracker当有任务提交到Hadoop集群的时候负责Job的运行,负责调度多个TaskTracker.

（6）TaskTracker负责某一个map或者reduce任务.

Block：将一个文件进行分块，通常是64M。

NameNode：保存整个文件系统的目录信息、文件信息及分块信息，这是由唯一一台主机专门保存，当然这台主机如果出错，NameNode就失效了。在Hadoop2.*开始支持activity-

standy模式----如果主NameNode失效，启动备用主机运行NameNode。

DataNode：分布在廉价的计算机上，用于存储Block块文件。