Hbase0.98.6-CDH5.3集群搭建

来源：互联网发布：python index 编辑：程序博客网时间：2024/05/21 17:50

这里写图片描述
CHD5.3搭建参考：http://blog.csdn.net/korder/article/details/46909253

以下俩种方式安装Hbase集群：
一：tar包安装
1 . Hbase安装在39/40/41/42/43/44/45/46/47节点上，所以上传hbase压缩包hbase-0.98.6-cdh5.3.0.tar.gz到39节点，配置好39再同步其他节点
2 . hbase-site.xml内容修改如下：

<configuration>    <property>        <name>hbase.rootdir</name>        <value>hdfs://cdh5-test/hbase</value>    </property>    <property>        <name>hbase.cluster.distributed</name>        <value>true</value>    </property>    <property>        <name>hbase.master</name>        <value>172.23.27.39:60000</value>    </property>    <property>        <name>hbase.tmp.dir</name>        <value>/tmp/hbase-${user.name}</value>    </property>    <property>        <name>hbase.zookeeper.quorum</name>        <value> 172.23.27.45:2181,172.23.27.46:2181,172.23.27.47:2181</value>    </property>    </configuration>

3 . regionservers内容修改如下：

   JXQ-23-27-40.h.chinabank.com.cn   JXQ-23-27-41.h.chinabank.com.cn   JXQ-23-27-42.h.chinabank.com.cn   JXQ-23-27-43.h.chinabank.com.cn   JXQ-23-27-44.h.chinabank.com.cn   JXQ-23-27-45.h.chinabank.com.cn   JXQ-23-27-46.h.chinabank.com.cn   JXQ-23-27-47.h.chinabank.com.cn

4 . hbase-env.sh

    export HBASE_OPTS="-XX:+UseConcMarkSweepGC"    export JAVA_HOME=/usr/java/jdk1.7.0_51    export HBASE_LOG_DIR=/var/hbase/logs     export HBASE_MANAGES_ZK=false //不使用自带zookeeper    export HBASE_SSH_OPTS="-p 51899"//ssh端口改变

5 . 同步文件夹，改权限

    scp -P 51899 -r hbase-0.98.6-cdh5.3.0 pe@172.23.27.47:/tmp/    ...    mv  /tmp/hbase-0.98.6-cdh5.3.0 /export/server/    chown  -R  root:root  hbase-0.98.6-cdh5.3.0/

6 . 启动

分别在这些节点上启动  start-hbase.sh

二：Hbase，yum安装：
39节点：安装master

    yum install -y hbase-master hbase-rest hbase-thrift    //以下是具体安装上的包名    hbase-master.x86_64 0:0.98.6+cdh5.3.2+83-1.cdh5.3.2.p0.17.el6    hbase-rest.x86_64 0:0.98.6+cdh5.3.2+83-1.cdh5.3.2.p0.17.el6    hbase-thrift.x86_64 0:0.98.6+cdh5.3.2+83-1.cdh5.3.2.p0.17.el6    hbase.x86_64 0:0.98.6+cdh5.3.2+83-1.cdh5.3.2.p0.17.el6

40/41/42/43/44/45/46/47节点：安装region-server

    yum install -y region-server    //以下是具体安装上的包名    hbase-regionserver.x86_64 0:0.98.6+cdh5.3.2+83-1.cdh5.3.2.p0.17.el6    hbase.x86_64 0:0.98.6+cdh5.3.2+83-1.cdh5.3.2.p0.17.el6

执行：

start-hbase.sh

该命令可在任意结点上执行，不过需要注意的是：在哪个结点上执行该命令，该点将自动成为master(与zookeeper的配置不同，hbase的配置文件中不提供指定master的选项），如果需要多个back-up master,可在另外的结点上通过hbase-daemon.sh start master单独启动master!

以下是单独启动某项服务的命令：

启动mastercd  /usr/lib/hbase/bin./hbase-daemon.sh start master启动regionservercd  /usr/lib/hbase/bin./hbase-daemon.sh start regionserver所有服务启动后，访问：http://YOUR-MASTER:60010

常见问题：

1>
172.23.27.46: ssh: connect to host 172.23.27.46 port 22: Connection refused
JXQ-23-27-41.h.chinabank.com.cn: ssh: connect to host JXQ-23-27-41.h.chinabank.com.cn port 22: Connection refused

当前环境无法root ssh直连，只能手动一台一台启动咯

2>HMaster启动后，分分钟又停止：

                <name>hbase.rootdir</name>                <value>hdfs://cdh5-test/hbase</value>

原来是hbase目录没有创建。hbase.rootdir：这个目录是region server的共享目录，用来持久化Hbase。URL需要是'完全正确'的，还要包含文件系统的scheme。

优化：

1. 可以调整hbase-site.xml的hbase.hregion.max.filesize属性.更大的Region可以使你集群上的Region的总数量较少。 一般来言，更少的Region可以使你的集群运行更加流畅。(你可以自己随时手工将大Region切割，这样单个热点Region就会被分布在集群的更多节点上)。默认情况下单个Region是256MB.你可以设置为1G。有些人使用更大的，4G甚至更多。

0 0