Hadoop术语
来源:互联网 发布:德阳cnc编程招聘信息 编辑:程序博客网 时间:2024/04/29 08:16
1.Namenode:HDFS采用master/salve架构。一个HDFS集群是由一个NamdeNode和一定数据的Datanodes组成。Namenode是一个中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。Namenode执行文件系统的名字空间操作,比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Namenode节点的映射。
2.Datanode:集群中的Datanode一般是一个节点一个,负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间,用户能够以文件的形式在上面存储数据。从内部看,一个文件其实被分成一个或多个数据块,这些存储在一组Datanode上。Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。
3.Secondnamenode:保存namenode中HDFS metadata的信息的备份,并减少namenode重启的时间。
4.Jobtracker和Tasktracker:JobTracher是MapReduce框架中最主要的类之一,所有job的执行都由它来调度,而且Hadoop系统中只配置一个JobTracher应用。它们都是由一个master服务JobTracher和多个运行于多个节点的slaver服务TaskTracher两个类提供的服务调度的。Master负责调度job的每一个子任务task运行于slave上,并监控它们,如果发现有失败的task就重现运行它,salve则负责执行每一个task.Tasktracker都需要运行在HDFS的Datanode上,而JobTracher则不需要,一般把JobTracher部署在单独的机器上。
- Hadoop术语
- hadoop术语
- hadooper-hadoop相关术语
- hadoop基本术语
- hadoop一些术语
- Hadoop 2.0中的基本术语解释
- Hadoop 2.0中的基本术语解释
- 术语
- 术语
- 术语
- 术语
- 术语
- 术语
- 术语
- 术语
- 术语
- 术语
- 术语
- vector的push_back对于拷贝构造和赋值操作的调用
- Android开发资源汇总
- 判断操作系统是16位还是32位的
- NYOJ-113 字符串替换
- Android子线程与主UI线程通信方式
- Hadoop术语
- 大型网站架构演变和知识体系
- Swift学习之三:整型与浮点型
- 懒虫小鑫
- 升级OpenSSL修复高危漏洞Heartbleed
- verilog文件操作代码(转)
- 设计模式—代理模式
- 判断计算机的字节存储顺序是开序还是降序
- Swift中文教程 -- 集合类型(Array,Dictionary)