巧用备份数节省hdfs空间

来源:互联网 发布:mac下载youtube视频 编辑:程序博客网 时间:2024/05/14 07:54

我们最近遇到一个问题,hdfs硬盘空间不足。各位有没有遇到类似的问题呢?

仔细分析了一下,发现hdfs下有这样一类文件,留之无大用,弃之可惜。

比如说最原始的日志文件........

本来留下他是用来做保险的,但是不一定能用的上,并且占据很大空间。

想想这样的文件该怎么处理好呢?

于是乎 诞生了一个想法,把这一类的数据备份数改小,由3改为2,这样能剩下1份的空间。

用到了这个命令:hadoop fs -setrep 2 XXXX(文件名)

神器啊!!!

元芳,你觉得呢?

原创粉丝点击