Hadoop(04) NameNode、DataNode
来源:互联网 发布:java pdf转word 编辑:程序博客网 时间:2024/06/05 19:11
NameNode工作特点
- Namenode始终在内存中保存metedata,用于处理“读请求”。
- 到有“写请求”到来时,namenode会首先写editlog到磁盘,即向edits文件中写日志,成功返回后,才会修改内存,并且向客户端返回。
- Hadoop会维护一个fsimage文件,也就是namenode中metedata的镜像,但是fsimage不会随时与namenode内存中的metedata保持一致,而是每隔一段时间通过合并edits文件来更新内容。Secondary namenode就是用来合并fsimage和edits文件来更新NameNode的metedata的。
SecondaryNameNode
- 执行过程:从NameNode上下载元数据信息(fsimage,edits),然后把二者合并,生成新的fsimage,在本地保存,并将其推送到NameNode,替换旧的fsimage。
secondary namenode的工作流程
- secondary通知namenode切换edits文件
- secondary从namenode获得fsimage和edits(通过http)
- secondary将fsimage载入内存,然后开始合并edits
- secondary将新的fsimage发回给namenode
- namenode用新的fsimage替换旧的fsimage
checkpiont时间点
- fs.checkpoint.period 指定两次checkpoint的最大时间间隔,默认3600秒。
- fs.checkpoint.size 规定edits文件的最大值,一旦超过这个值则强制checkpoint,不管是否到达最大时间间隔。默认大小是64M。
NameNode与SecondaryNameNode工作关系图
DataNode
- 提供真实文件数据的存储服务。
- 文件块(block):最基本的存储单位。对于文件内容而言,一个文件的长度大小是size,那么从文件的0偏移开始,按照固定的大小,顺序对文件进行划分并编号,划分好的每一个块称一个Block。HDFS默认Block大小是128MB,以一个256MB文件,共有256/128=2个Block.
- 不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间
- Replication。多复本。默认是三个。
0 0
- Hadoop(04) NameNode、DataNode
- Hadoop NameNode无法连接DataNode
- Hadoop DataNode, NameNode无法启动
- Hadoop启动namenode和datanode
- Hadoop之 NameNode---DataNode---SecondaryNameNode
- hadoop datanode 连接namenode的问题
- hadoop namenode和datanode无法启动
- Hadoop的namenode datanode无法启动
- Hadoop获得集群NameNode和DataNode状态
- 部署hadoop后,datanode无法连接namenode
- 对DataNode和namenode的理解--hadoop
- hadoop相关记录namenode以及datanode
- Hadoop原理---HDFS中的NameNode和DataNode
- Hadoop DataNode 无法连接到主机NameNode
- Hadoop无法启动NameNode和DataNode
- hadoop:datanode连接不上namenode
- Hadoop的NameNode与SecondaryNameNode,DataNode
- Hadoop DataNode 无法连接到主机NameNode
- 项目管理学习笔记
- 浅谈Android根据屏幕宽度,按比例缩放图片
- 堆排序
- 通过inAppBrowser实现浏览网页
- ListView中嵌入Button,并响应Button点击事件
- Hadoop(04) NameNode、DataNode
- [Android] Android 动画浅析
- 离散数学输入表达式打印真值表和主析/合取范式
- 单例demo
- C++11中的匿名函数指针(Lambda表达式)
- c++ primer记录
- 飞机大战JAVA编程
- 二级C语言复习5
- Linux c — void类型变量和指针