hadoop集群Non DFS Used占用空间迅速增长的问题

来源:互联网 发布:部落冲突淘宝代练价格 编辑:程序博客网 时间:2024/06/11 09:04

hdfs Non DFS Used 占用空间大,用du -h 看磁盘空间还在,但web页面显示Non DFS Used占用了特别多的空间,整个集群的Remaining空间几乎没有了

解决方案:
                重启hadoop 的 historyserver 
                 mr-jobhistory-daemon.sh start historyserver
                重启dfs
                start-dfs.sh


产生的原因:

             因为集群里启动了historyserver,这个进程在删除了临时文件之后,并没有释放文件句柄,所以导致Non DFS Used 数值很大,而用df和du查看的时候,磁盘空间并未被占用



0 0
原创粉丝点击