提升hbase性能的几个地方
来源:互联网 发布:如何查看淘宝卖家资质 编辑:程序博客网 时间:2024/04/28 18:41
1、hbase对于内存有特别的嗜好,在硬件允许的情况下配足够多的内存给它。
通过修改hbase-env.sh中的
export HBASE_HEAPSIZE=3000 #这里默认为1000m
2、修改java虚拟机属性
(1)、在环境允许的情况下换64位的虚拟机
(2)、替换掉默认的垃圾回收器,因为默认的垃圾回收器在多线程环境下会有更多的wait等待
export HBASE_OPTS="-server -XX:NewSize=6m -XX:MaxNewSize=6m -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode"
3、增大RPC数量
通过修改hbase-site.xml中的
hbase.regionserver.handler.count属性,可以适当的放大。默认值为10有点小
4、做程序开发是注意的地方
(1)、需要判断所求的数据行是否存在时,尽量不要用HTable.exists(final byte [] row) 而用HTable.exists(final byte [] row, final byte[] column)等带列族的方法替代。
(2)、不要使用HTable.get(final byte [] row, final byte [] column) == null来判断所求的数据存在,而是用HTable.exists(final byte [] row, final byte[] column)替代
(3)、HTable.close()方法少用.因为我遇到过一些很令人费解的错误
5、记住HBase是基于列模式的存储,如果一个列族能搞定就不要把它分开成两个,关系数据库的那套在这里很不实用.分成多个列来存储会浪费更多的空间,除非你认为现在的硬盘和白菜一个价。
7、如果数据量没有达到TB级别或者没有上亿条记录,很难发挥HBase的优势,建议换关系数据库或别的存储技术。
- 提升hbase性能的几个地方
- 提升hbase性能的几个地方
- 提升HBase性能的几个地方
- 提升HBase性能的几个地方
- 几个提升java性能需要注意的地方
- hbase很有价值的读写性能提升
- hbase很有价值的读写性能提升
- 【HBase】提升HBase写性能
- 【HBase】提升HBase写性能
- 提升HBase写性能
- 提升HBase写性能
- 提升HBase写性能
- 提升HBase写性能
- 提升HBase写性能
- 提升HBase写性能
- PostgreSQL 数据库性能提升的几个方面
- 提升磁盘IO性能的几个技巧
- 提升磁盘IO性能的几个技巧
- 蓝色巨人百岁生日,了不起!
- cmd
- IC卡读写器VB源代码
- Main function
- Program Structure
- 提升hbase性能的几个地方
- sendkeys键码表及定义方法
- frameset 在顶层页面显示内容的方法
- c# 用LDAP访问AD
- oracle表的管理(数据类型,表创建删除,数据CRUD 操作)
- Program Structure II
- C#参考
- 实现数据加载过程中菊花的方法
- V I M 教 程