大数据技术-HBase：优化hadoop Xceivers

由于hbase是基于hadoop hdfs文件系统之上的，其持久化都是通过调用hdfs的client api达到的，所有hdfs的很多配置参数对hbase的性能影响也是很大的。今天主要说下其中的一个“dfs.datanode.max.xcievers”，注意在hadoop2.6版本这个已经改名了。

现在这个值默认是4096，已经能满足大部分情况了。不能配置太大，因为每个也是需要占用内存空间的，默认可能1MB左右，同时很多线程也会导致CPU负载的急剧增加，影响整体性能。

那么到底配置多大合适呢？

当region打开的时候，仅仅需要的数据时hfile的info block，一旦读完，将会释放服务端资源。打开所有region并不会像预想那样会耗用非常多的服务端资源。而全表扫描的时候将会读取所有block，这时打倒理论上限。

这个公式大致计算出需要的最大线程数，基于hbase的 storefiles，regions和regionservers。同时我们还采用了20%的富余量。同时要注意调高你可以使用的最大sockets数量，否则容易出现其他问题。