HDFS中的Namenode和Datanode
来源:互联网 发布:网银淘宝买东西的流程 编辑:程序博客网 时间:2024/05/19 11:36
HDFS Architecture:
Namenode
Namenode 管理者文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)。管理这些信息的文件有两个,分别是Namespace 镜像文件(Namespace image)和操作日志文件(edit log),这些信息被Cache在RAM中,当然,这两个文件也会被持久化存储在本地硬盘。Namenode记录着每个文件中各个块所在的数据节点的位置信息,但是他并不持久化存储这些信息,因为这些信息会在系统启动时从数据节点重建。
Namenode结构图课抽象为如图:
客户端(client)代表用户与namenode和datanode交互来访问整个文件系统。客户端提供了一些列的文件系统接口,因此我们在编程时,几乎无须知道datanode和namenode,即可完成我们所需要的功能。
Datanode
Datanode是文件系统的工作节点,他们根据客户端或者是namenode的调度存储和检索数据,并且定期向namenode发送他们所存储的块(block)的列表。
Namenode容错机制
没有Namenode,HDFS就不能工作。事实上,如果运行namenode的机器坏掉的话,系统中的文件将会完全丢失,因为没有其他方法能够将位于不同datanode上的文件块(blocks)重建文件。因此,namenode的容错机制非常重要,Hadoop提供了两种机制。
第一种方式是将持久化存储在本地硬盘的文件系统元数据备份。Hadoop可以通过配置来让Namenode将他的持久化状态文件写到不同的文件系统中。这种写操作是同步并且是原子化的。比较常见的配置是在将持久化状态写到本地硬盘的同时,也写入到一个远程挂载的网络文件系统。
第二种方式是运行一个辅助的Namenode(Secondary Namenode)。 事实上Secondary Namenode并不能被用作Namenode它的主要作用是定期的将Namespace镜像与操作日志文件(edit log)合并,以防止操作日志文件(edit log)变得过大。通常,Secondary Namenode 运行在一个单独的物理机上,因为合并操作需要占用大量的CPU时间以及和Namenode相当的内存。辅助Namenode保存着合并后的Namespace镜像的一个备份,万一哪天Namenode宕机了,这个备份就可以用上了。
但是辅助Namenode总是落后于主Namenode,所以在Namenode宕机时,数据丢失是不可避免的。在这种情况下,一般的,要结合第一种方式中提到的远程挂载的网络文件系统(NFS)中的Namenode的元数据文件来使用,把NFS中的Namenode元数据文件,拷贝到辅助Namenode,并把辅助Namenode作为主Namenode来运行。
原文链接:http://shitouer.cn/2012/12/hdfs-namenode-datanode/
【编辑推荐】
- 分布式文件系统HDFS设计
- 分布式文件系统HDFS中Block介绍
- HBase设计:看上去很美
- 三种东西永远不要放到数据库里
- 没有数据驱动的流程和产品 大数据将毫无价值
- HDFS中的NameNode 和 DataNode
- HDFS中的Namenode和Datanode
- HDFS中的Namenode和Datanode
- HDFS中的NameNode和DataNode
- HDFS中的Namenode和Datanode
- Hadoop原理---HDFS中的NameNode和DataNode
- HDFS的namenode和datanode
- HDFS namenode 和 datanode功能
- hadoop的hdfs中的namenode和datanode知识总结
- 《hadoop学习》关于hdfs中的namenode和datanode详解
- Hdfs(NameNode&DataNode)和Hive迁移总结
- HDFS:NameNode、DataNode、SecondaryNameNode
- HDFS:NameNode、DataNode、SecondaryNameNode
- HDFS:NameNode概述,DataNode 概述
- Hadoop之HDFS架构(NameNode和DataNode)
- NameNode 和 DataNode
- NameNode和DataNode启动
- Namenode 和 Datanode
- UITableView自动计算cell高度并缓存,再也不用管高度啦
- Html笔记
- C++类外定义实例
- Nginx文章
- Linux CentOS升级Python 3.6版本方法
- HDFS中的Namenode和Datanode
- cocos命令编译Android平台,sdk版本错误解决方案
- Information:Gradle tasks [:app:assembleDebug]
- 获得性能大幅提升的go程序优化实践,火焰图使用
- 居中方式
- 正则表达式大全——包括校验数字、字符、一些特殊的需求等
- 中文分词:之Trie树
- solr文档索引最佳实践
- Java 常见异常种类