hadoop 提高hdfs删文件效率----hadoop删除文件流程解析
来源:互联网 发布:淘宝上怎么卖药品 编辑:程序博客网 时间:2024/05/25 08:14
前言
这段时间在用hdfs,由于要处理的文件比较多,要及时删除旧文件,但是发现hdfs的blocks数一直在上涨,经分析是hdfs写入的速度较快,而block回收较慢,所以分心了一下hadoop删文件的流程,并做了调优,希望对遇到此类问题的程序猿们有帮助。
正文
经分析与查看源码发现,hdfs删除文件的流程是这样的:
(1)java程序中的DFSClient调用delete函数,删除文件
(2)NameNode将文件从他的namespace中删除
(3)NameNode通过心跳的方式,发命令给DataNode,告诉DataNode哪些block块该删除,然后DataNode才真正将文件删除。
当然这里面还有很多详细的流程,这里暂时不解释了,通过查看源码发现,NameNode每次通过心跳发给DataNode的block块数是100, 现在调优有连个地方可以改
(1)把心跳间隔改小一点,这个在配置文件hdfs-site.xml中的dfs.heartbeat.interval 。
(2)让NameNode每次多发给DataNode一些block块,由于是看源码发现的所以就该源码了,后来发现其实可以在配置文件中陪
修改DFSConfigKeys类中的DFS_BLOCK_INVALIDATE_LIMIT_DEFAULT,重新编译hadoop,替换到集群中即可。
更简单的方法就是修改配置文件 dfs.block.invalidate.limit
参考 http://blog.csdn.net/baggioss/article/details/5674359
- hadoop 提高hdfs删文件效率----hadoop删除文件流程解析
- Hadoop深入学习:解析HDFS的写文件流程
- hadoop之 解析HDFS的写文件流程
- 【Hadoop】HDFS - 创建文件流程详解
- 【Hadoop】HDFS - 创建文件流程详解
- Hadoop之HDFS文件读取流程
- Hadoop向HDFS写入、删除、读取文件
- hadoop hdfs 上传下载文件
- Hadoop HDFS文件操作
- hadoop Hdfs文件上传下载
- hadoop HDFS读写文件
- hadoop源码解析之hdfs写数据全流程分析---创建文件
- hadoop put内部调用,hdfs写文件流程
- <hadoop学习历程>--笔记心得4-HDFS文件读写流程
- java 实现hadoop的hdfs文件的上传下载删除创建
- Hadoop-HDFS(三)删除流程
- Hadoop读写Hdfs系统文件
- hadoop hdfs文件权限管理
- 实验2:small rtos51-------数码管控制
- POJ 3744 Scout YYF I (矩阵优化,分段计算的概率DP)
- 大话数据结构十一:字符串的模式匹配(KMP算法)
- 类与对象
- android gradle include so libs
- hadoop 提高hdfs删文件效率----hadoop删除文件流程解析
- WebService大讲堂之Axis2(1):用POJO实现0配置的WebService
- CSDN高校俱乐部见面会
- eclips 环境
- 公开课可下载资源汇总
- Oracle和MySQL的数据类型对照
- 第七章总结
- 9.Linux文件系统挂载管理
- Uva1514 Piece it together