HBase-5.提高HBase客户端的读写性能方法

来源:互联网 发布:mysql存放byteImage 编辑:程序博客网 时间:2024/06/06 03:39

(1)       开启bloomfilter过滤器,开启bloomfilter比没开启要快34

(2)       hbase对于内存有特别的嗜好,在硬件允许的情况下配足够多的内存给它

通过修改hbase-env.sh中的
export HBASE_HEAPSIZE=3000 #
这里默认为1000m

(3)       修改java虚拟机属性

替换掉默认的垃圾回收器,因为默认的垃圾回收器在多线程环境下会有更多的wait等待   

export HBASE_OPTS="-server -XX:NewSize=6m -XX:MaxNewSize=6m -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode"

 

(4)       hbase对于内存有特别的嗜好,在硬件允许的情况下配足够多的内存给它

通过修改hbase-env.sh中的
export HBASE_HEAPSIZE=3000 #
这里默认为1000m

(5)       增大RPC数量

 

通过修改hbase-site.xml中的   

hbase.regionserver.handler.count属性,可以适当的放大。默认值为10有点小

 

(6)       做程序开发是注意的地方

需要判断所求的数据行是否存在时,尽量不要用HTable.exists(final byte [] row)

而用HTable.exists(final byte [] row, final byte[]column)等带列族的方法替代。

 

不要使用HTable.get(final byte [] row, final byte []column) == null来判断所求的数据存在,而是用HTable.exists(final byte [] row, final byte[] column)替代

 

0 0