Hadoop术语

来源:互联网 发布:德阳cnc编程招聘信息 编辑:程序博客网 时间:2024/04/29 08:16

1.Namenode:HDFS采用master/salve架构。一个HDFS集群是由一个NamdeNode和一定数据的Datanodes组成。Namenode是一个中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。Namenode执行文件系统的名字空间操作,比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Namenode节点的映射。


2.Datanode:集群中的Datanode一般是一个节点一个,负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间,用户能够以文件的形式在上面存储数据。从内部看,一个文件其实被分成一个或多个数据块,这些存储在一组Datanode上。Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。


3.Secondnamenode:保存namenode中HDFS metadata的信息的备份,并减少namenode重启的时间。


4.Jobtracker和Tasktracker:JobTracher是MapReduce框架中最主要的类之一,所有job的执行都由它来调度,而且Hadoop系统中只配置一个JobTracher应用。它们都是由一个master服务JobTracher和多个运行于多个节点的slaver服务TaskTracher两个类提供的服务调度的。Master负责调度job的每一个子任务task运行于slave上,并监控它们,如果发现有失败的task就重现运行它,salve则负责执行每一个task.Tasktracker都需要运行在HDFS的Datanode上,而JobTracher则不需要,一般把JobTracher部署在单独的机器上。

0 0
原创粉丝点击