hdfs du -sk 导致机器load高

hdfs 会定期（默认10分钟）使用 du -sk 命令统计BP的大小，在大硬盘机器上该操作耗时将会很长（可能超过10分钟）。这会导致 iowait 以及 load的提升。

例如：

社区为了解决这个问题，主要在两个方面进行了改造：
https://issues.apache.org/jira/browse/HADOOP-9884

1. 使用 df 命令替换 du
2. 允许用户自定义检查间隔时间

问题虽然被解决了，不过低于hadoop2.8的版本需要升级或者打patch的方式进行优化，较为麻烦。

不过也有一些临时的方案，比如说捕获到hdfs调用的 du -sk 命令，使用 df -k 进行替换。

tip: 这个方法的前提是每个BP目录单独位于一个磁盘上。

du 脚本，对正常的du命令不进行修改

mv /usr/bin/du /usr/bin/du_bakvim /usr/bin/du#!/bin/shif [[ $2 == */current/BP-* ]] && [ $1 == -sk ]then    used=`df -k $2 | grep -vE 'Used|可用' | awk '{print $3}'`    echo -e "$used\t$2"else    echo -e "$(du_bak $@)"fichmod +x /usr/bin/du

红框为某机器替换后的du命令的效果，1图黄色部分为iowait比例：