hadoop学习笔记

Hadoop master/slave模式

hadoop的集群是基于master/slave模式，namenode和jobtracker属于master，datanode和tasktracker属于slave，master只有一个，而slave有多个。

·分布式存储（hdfs）角度：集群中的节点由一个namenode和多个datanode组成。namenode是中心服务器，负责管理文件系统的名字空间（namespace）以及客户端对文件的访问。集群中的datanode一般是一个节点一个，负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件其实被分成一个或多个数据库，这些块存储在一组datanode上。namenode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体datanode节点的映射。datanode负责处理文件系统客户端的读写请求。在namenode的统一调度下进行数据块的创建、删除和复制。
·分布式应用（mapreduce）角度：集群中的节点有一个jobtracker和多个tasktracker组成。jobtracker负责任务的调度，tasktracker负责并行执行任务。tasktracker必须运行在datanode上，这样便于数据的本地计算，而jobtracker和namenode则必须在同一台机器上。