datanode工作机制详解
来源:互联网 发布:淘宝手工丝网印刷油漆 编辑:程序博客网 时间:2024/05/23 19:50
DATANODE的工作机制
问题场景:
1、集群容量不够,怎么扩容?
2、如果有一些datanode宕机,该怎么办?
3、datanode明明已启动,但是集群中的可用datanode列表中就是没有,怎么办?
1 概述
1、Datanode工作职责:
存储管理用户的文件块数据
定期向namenode汇报自身所持有的block信息(通过心跳信息上报)
(这点很重要,因为,当集群中发生某些block副本失效时,集群如何恢复block初始副本数量的问题)
<property>
<name>dfs.blockreport.intervalMsec</name>
<value>3600000</value>
<description>Determines block reporting interval in milliseconds.</description></property>
2、Datanode掉线判断时限参数
datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout,则超时时长的计算公式为:
timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval。
而默认的heartbeat.recheck.interval 大小为5分钟,dfs.heartbeat.interval默认为3秒。
需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒,dfs.heartbeat.interval的单位为秒。所以,举个例子,如果heartbeat.recheck.interval设置为5000(毫秒),dfs.heartbeat.interval设置为3(秒,默认),则总的超时时间为40秒。
<property>
<name>heartbeat.recheck.interval</name>
<value>2000</value></property>
<property>
<name>dfs.heartbeat.interval</name>
<value>1</value></property>
3.datanode工作机制
数据完整性
1)当DataNode读取block的时候,它会计算checksum
2)如果计算后的checksum,与block创建时值不一样,说明block已经损坏。
3)client读取其他DataNode上的block.
4)datanode在其文件创建后周期验证checksum
阅读全文
0 0
- datanode工作机制详解
- NameNode、SecendNameNode和DataNode的工作机制
- NameNode 、DataNode、Secondary NameNode工作机制
- struts2工作机制详解
- struts2工作机制详解
- struts2工作机制详解
- GC工作机制详解
- hadoop的NAMENODE的管理机制,工作机制和DATANODE的工作原理
- linux工作队列机制详解
- RDD工作机制实例详解
- linux工作队列机制详解
- TCP的工作机制详解
- 【Spark工作机制详解】 执行机制
- 【Spark工作机制详解】 I/O 机制
- 【Spark工作机制详解】容错机制
- 【Spark工作机制详解】 Shuffle机制
- NameNode和DataNode通信机制
- JVM结构、GC工作机制详解
- 递归
- ElasticSearch核心基础之聚合
- ADTF软件介绍
- GBDT:梯度提升决策树
- On the difficulty of training Recurrent Neural Networks
- datanode工作机制详解
- 二叉树的遍历(25 分)
- 测试人眼中的车联网(比亚迪云服务-3.2.1)——启动的逻辑
- html5游戏制作二
- CANoe软件使用介绍
- 深度解密 | 2017天猫双11,1682亿背后的阿里绝密50+技术
- NVIDIA Drive PX2 使用介绍
- 闭包函数
- Mac使用homebrew安装PHP7