HBase的基本配置要点

来源:互联网 发布:最适合程序员的笔记本 编辑:程序博客网 时间:2024/05/08 09:34
  • 打开HDFS的dfs.support.append属性。它决定HDFS是否支持追加(sync)功能。在hdfs-site.xml文件中配置,默认为false,将其设为true,在区域服务器崩溃时不至于数据丢失。即启用了HDFS写盘功能,在启动了该功能之后,就可以通过调用flush函数来让HDFS写进程确保对数据进行了持久化。这样就可以保证在一台区域服务器发生宕机时,我们可以通过在其它区域服务器上重演故障服务器的预写日志(WAL)的方式来恢复故障服务器上的数据。
  • 调高dfs.datanode.max.xcievers属性的值,使得DataNode可以让更多数量的线程保持打开,以便可以处理更多请求。配置于hdfs-site.xml文件。
  • 调高ZooKeeper堆内存大小,以使该内存不必进行交换。export JAVA_OPTS="-Xms1000m -Xmx1000m
  • 调高ZooKeeper的最大客户端连接数,以便可以处理更多的并发请求。echo “maxClientCnxns=60” >> zoo.cfg
  • 调高HBase堆内存大小。配置于hbase-env.sh,export HBASE_HEAPSIZE=8000
  • 调低zookeeper.session.timeout属性的值,以便使得HBase可以很快发现某台区域的服务器已经宕机。当然,如果会话超时时间过短,也会有在集群负载很重时HRegionServer 守护进程将自己的进程杀掉的风险,因为它可能还没有来得及把心跳信号发送给ZooKeeper,时间就已经超时了。
0 0
原创粉丝点击