企业级HBase集群搭建

参考HBase的基本原理，本次实验在配置好的Hadoop HA集群之上，将HMaster服务部署在HDFS的namenode1和namenode2节点，将RegionServer部署在datanode节点，使用独立的ZooKeeper集群进行搭建。

一、配置Linux系统

针对企业级的应用场合，需要修改Linux系统的部分参数，主要是以下几点。

1. 查看系统的最大文件打开数和最大进程数

2. 打开/etc/security/limits.conf文件，添加如下内容

3. 打开/etc/sysctl.conf文件，修改Linux内核参数

二、配置HBase

1. 获取hbase压缩包

2. 解压缩、移动hbase文件夹到~/apache/hbase

3. 在集群各节点上修改用户环境变量

4. 进入hbase的conf文件夹，设置hbase-site.xml

<configuration>    <!-- 设置HRegionServers共享目录 -->    <property>      <name>hbase.rootdir</name>      <value>hdfs://mycluster/hbase</value>    </property>    <!-- 设置HMaster的rpc端口 -->    <property>      <name>hbase.master.port</name>      <value>16000</value>    </property>    <!-- 设置HMaster的http端口 -->    <property>      <name>hbase.master.info.port</name>      <value>16010</value>    </property>    <!-- 指定缓存文件存储的路径 -->    <property>      <name>hbase.tmp.dir</name>      <value>/home/trvo/apache/hbase/tmp</value>    </property>    <!-- 开启分布式模式 -->    <property>      <name>hbase.cluster.distributed</name>      <value>true</value>    </property>    <!-- 指定ZooKeeper集群位置 -->    <property>      <name>hbase.zookeeper.quorum</name>      <value>namenode1, namenode2, datanode</value>    </property>    <!-- 指定ZooKeeper集群端口 -->    <property>      <name>hbase.zookeeper.property.clientPort</name>      <value>2181</value>    </property>    <!--指定Zookeeper数据目录，需要与ZooKeeper集群上配置相一致 -->    <property>      <name>hbase.zookeeper.property.dataDir</name>      <value>/home/trvo/apache/zookeeper/data</value>    </property>    <!-- \\\\\\\\\\以下为优化配置项\\\\\\\\\\ -->    <!-- 关闭分布式日志拆分 -->    <property>      <name>hbase.master.distributed.log.splitting</name>      <value>false</value>    </property>    <!-- hbase客户端rpc扫描一次获取的行数 -->    <property>      <name>hbase.client.scanner.caching</name>      <value>2000</value>    </property>    <!-- HRegion分裂前最大的文件大小（10G） -->    <property>      <name>hbase.hregion.max.filesize</name>      <value>10737418240</value>    </property>    <!-- HRegionServer中最大的region数量 -->    <property>      <name>hbase.regionserver.reginoSplitLimit</name>      <value>2000</value>    </property>    <!-- StoreFile的个数超过这个数就开始合并 -->    <property>      <name>hbase.hstore.compactionThreshold</name>      <value>6</value>    </property>    <!-- 当某一个region的storefile个数达到该值则block写入，等待compact -->    <property>      <name>hbase.hstore.blockingStoreFiles</name>      <value>14</value>    </property>    <!-- 超过memstore大小的倍数达到该值则block所有写入请求，自我保护 -->    <property>      <name>hbase.hregion.memstore.block.multiplier</name>      <value>20</value>    </property>    <!-- service工作的sleep间隔 -->    <property>      <name>hbase.server.thread.wakefrequency</name>      <value>500</value>    </property>    <!-- ZooKeeper客户端同时访问的并发连接数 -->    <property>      <name>hbase.zookeeper.property.maxClientCnxns</name>      <value>2000</value>    </property>    <!-- 根据业务情况进行配置 -->    <property>      <name>hbase.regionserver.global.memstore.lowerLimit</name>      <value>0.3</value>    </property>    <property>      <name>hbase.regionserver.global.memstore.upperLimit</name>      <value>0.39</value>    </property>    <property>      <name>hbase.block.cache.size</name>      <value>0.4</value>    </property>    <!-- RegionServer的请求处理IO线程数 -->    <property>      <name>hbase.reginoserver.handler.count</name>      <value>300</value>    </property>    <!-- 客户端最大重试次数 -->    <property>      <name>hbase.client.retries.number</name>      <value>5</value>    </property>    <!-- 客户端重试的休眠时间 -->    <property>      <name>hbase.client.pause</name>      <value>100</value>    </property>  </configuration>  

5. 修改hbase-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk   //设置jdk的路径export HADOOP_HOME=/home/trvo/apache/hadoop   // 设置hadoop安装路径export HBASE_HEAPSIZE=1024    // 设置HBase内存堆的大小export HBASE_LOG_DIR=${HBASE_HOME}/logs       //设置HBase的日志目录export HBASE_PID_DIR=/home/trvo/apache/hbase/pidsexport HBASE_MANAGES_ZK=false       //选用独立的zookeeper集群

6. 修改regionservers文件

datanode

7. 新建backup-masters文件

namenode2

8. 返回hbase主目录，创建相关文件夹

$mkdir tmp
$mkdir pids
$mkdir logs

9. 将hbase工作目录同步到集群其它节点

$scp -r /home/trvo/apache/hbase trvo@namenode2:/home/trvo/apache/
$scp -r /home/trvo/apache/hbase trvo@datanode:/home/trvo/apache/

三、启动HBase

1. 在集群各节点上启动zookeeper

$zkServer.sh start

2. 在namenode1上启动hadoop

$start-all.sh

3. 启动YARN的另一个ResourceManager

$yarn-daemon.sh start resourcemanager

4. 在namenode1上启动hbase

$start-hbase.sh

5. 进入Web UI，查看主Master状态

6. 查看备份Master状态