HDFS too many open files，fd limit的问题（二）

问题本身是明确的：由于操作HDFS的进程，打开了过多的本地文件，导致fd limit达到上限，进而其他需要打开文件（广义的文件的概念）的进程报错。


需要注意的是，这个错误影响到了多个进程，并且这些进程间好像没有继承关系（parent-child）？所以，从HDFS进程的错误日志，无法确定是进程层面的limit到了，还是系统层面的limit到了。


解决这个问题，必须同时确保三个层面的配置是正确的。


一是进程层面，就是/etc/security/limits.conf文件，以及/etc/security/limits.d目录下面的独立于具体程序的各个配置文件，调整其中的nofile配置项。
二是系统层面，/proc/sys/fs/file-max文件，关于是否需要调整这个文件的内容，参考/proc/sys/fs/file-nr文件的内容。程序运行过程中，各个进程的总和超过系统的限制，还是会报错。
三是程序层面，/etc/security/limits.d目录下，和具体程序紧耦合的配置文件，比如hdfs.conf等等。


务必检查和调整这三个层面。


除了调整fd limit外，引起这个问题的原因，也就是job的map tasks数量，也需要控制。这方面具体的方法我也不清楚。参考之前的邮件。


参考：
1、http://blog.csdn.net/sdn_prc/article/details/28661661，我很早之前写的，也许有些小错误
2、man 5 proc，查找file-max和file-nr