Hadoop 笔记 1——Hadoop架构

下图是hadoop的主从结构，在小集群中Secondary name node属于某个从节点。大集群中，name node和job tracker部署在两台服务器上

==================主服务器===========（如下每个集群各有一个）

• NameNode：主要职责是跟踪文件如何被分割成文件块、文件块又被哪些节点存储，以及分布式文件系统的整体运行状态是否正常等，如果NameNode节点停止运行的话将会导致数据节点无法通信，客户端无法读取和写入数据到HDFS，实际上这也将导致整个系统停止工作。【Comment】：监控文件块的分割和存储，对IO和内存集中管理，监控从节点状况。但是一旦宕机就悲剧了。
• Secondary name node：会定期快照Name node，把它的元数据存储下来。以便在Name node宕机的时候恢复，或者作为它的备用使用。
• Job Tracker：应用程序提交过来的任务被称为（job），Job会被分为多个task，Job tracker的任务就是监控这些task 的执行情况。若果失败了就重启该task
  

===================从服务器=====================（如下每个节点各有一个）

• Data node：从服务器的一个后台程序，负责把文件读到本机上。在读写操作中又Name node告诉它去哪读。
• Task tracker：它的任务是定期和Job tracker交互统领mapreduce的工作。每个Task tracker会产生多个JVM并行处理 map reduce任务。