hdfs心跳机制

来源:互联网 发布:ubuntu 解压缩 编辑:程序博客网 时间:2024/05/18 03:04

hdfs心跳机制

1)hdfs是master/slave结构,master包括namenode和resourcemanager,slave包括datanode和nodemanager

2)master启动时会开启一个IPC服务,等待slave连接

3)slave启动后,会主动链接IPC服务,并且每隔3秒链接一次,这个时间是可以调整的,设置heartbeat,这个每隔一段时间连接一次的机制,称为心跳机制。Slave通过心跳给master汇报自己信息,master通过心跳下达命令。

4)Namenode通过心跳得知datanode状态

Resourcemanager通过心跳得知nodemanager状态

5)当master长时间没有收到slave信息时,就认为slave挂掉了。

超长时间计算:默认为10分钟30秒 

而默认的 heartbeat.recheck.interval 大小为 5 分钟,dfs.heartbeat.interval 默认的大小为 3 秒。

 

Recheck的时间单位为毫秒      heartbeat的时间单位为秒 

计算公式为2*recheck+10*heartbeat

例如:

如果 heartbeat.recheck.interval 设置为 5000(毫秒), dfs.heartbeat.interval
设置为 3(秒,默认),则总的超时时间为 40 秒