HDFS冗余数据块的自动删除
来源:互联网 发布:java时区转换 编辑:程序博客网 时间:2024/06/05 10:21
在日常维护hadoop集群的过程中发现这样一种情况:
某个节点由于网络故障或者DataNode进程死亡,被NameNode判定为死亡,HDFS马上自动开始数据块的容错拷贝;当该节点重新添加到集群中时,由于该节点上的数据其实并没有损坏,所以造成了HDFS上某些block的备份数超过了设定的备份数。通过观察发现,这些多余的数据块经过很长的一段时间才会被完全删除掉,那么这个时间取决于什么呢?
该时间的长短跟数据块报告的间隔时间有关。Datanode会定期将当前该结点上所有的BLOCK信息报告给Namenode,参数dfs.blockreport.intervalMsec就是控制这个报告间隔的参数。
hdfs-site.xml文件中有一个参数:
<property>
<name>dfs.blockreport.intervalMsec</name>
<value>3600000</value>
<description>Determines block reporting interval in milliseconds.</description>
</property>
其中3600000为默认设置,3600000毫秒,即1个小时,也就是说,块报告的时间间隔为1个小时,所以经过了很长时间这些多余的块才被删除掉。通过实际测试发现,当把该参数调整的稍小一点的时候(60秒),多余的数据块确实很快就被删除了。
阅读全文
0 0
- HDFS冗余数据块的自动删除
- HDFS冗余数据块的自动删除
- HDFS 冗余数据块的自动删除
- HDFS冗余数据块的自动删除
- Hadoop之——HDFS冗余数据块的自动删除
- datenode节点超时时间设置,Hadoop启动不正常,HDFS冗余数据块的自动删除,NameNode安全模式问题,ntp时间服务同步,机架感知配置
- sql删除冗余数据
- mysql删除冗余数据
- HDFS数据块恢复算法的思考
- HDFS-RAID使用Erasure Code来实现HDFS的数据冗余
- HDFS-RAID使用Erasure Code来实现HDFS的数据冗余
- HDFS-RAID使用Erasure Code来实现HDFS的数据冗余
- HDFS数据块
- HDFS-数据块
- HDFS数据块
- 删除文件出现 数据错误 循环冗余的解决办法
- HDFS对象存储:Ozone的块异步删除服务
- 手动删除/kylin hdfs 上的数据
- 沃尔玛引入货架扫描机器人,强调并非为取代人类
- csdn的第一次书写
- 好玩的动画加载和自定义ProgressBar
- 【算法】【Dynamic Programming】Unique Paths
- Leetcode:Recover Binary Search Tree
- HDFS冗余数据块的自动删除
- 线性表_顺序存储
- React学习笔记
- 常见加密算法
- Ubuntu16.04下通过ngrok实现内网穿透
- 面向对象程序设计上机练习五(类和对象)
- Java Hashmap Key/Value均可为null, HashTable均不能为null
- 威佐夫博弈常见题型和理解
- duilib的CWindowWnd构造函数传递的参数::DefWindowProc