Hadoop Hbase 分布式部署

基本配置同 HDFS+NFS+ZOOKEEPER实现Hadoop高可用集群

1、Hbase安装配置

安装包下载地址http://mirror.bit.edu.cn/apache/hbase/1.2.6/

$ tar zxf hbase-1.2.4-bin.tar.gz$ vim hbase-env.sh#修改以下三项

export JAVA_HOME=/home/hadoop/java #指定 jdkexport HBASE_MANAGES_ZK=false #默认值时 true，hbase 在启动时自动开启 zookeeper，如需自己维护 zookeeper 集群需设置为 falseexport HADOOP_HOME=/home/hadoop/hadoop #指定 hadoop 目录，否则 hbase无法识别 hdfs 集群配置。

$ vim hbase-site.xml

<configuration><!-- 指定 region server 的共享目录，用来持久化 HBase。这里指定的 HDFS 地址是要跟 core-site.xml 里面的 fs.defaultFS 的 HDFS 的 IP 地址或者域名、端口必须一致。 --><property><name>hbase.rootdir</name><value>hdfs://masters/hbase</value></property><!-- 启用 hbase 分布式模式 --><property><name>hbase.cluster.distributed</name><value>true</value></property><!-- Zookeeper 集群的地址列表，用逗号分割。默认是 localhost,是给伪分布式用的。要修改才能在完全分布式的情况下使用。 --><property><name>hbase.zookeeper.quorum</name><value>192.168.0.185,192.168.0.186,192.168.0.173</value></property><!-- 指定数据拷贝 3 份，hdfs 默认是 3 份。 --><property><name>dfs.replication</name><value>3</value></property><!-- 指定 hbase 的 master --><property><name>hbase.master</name><value>h1</value></property></configuration>

$ cat regionservers192.168.0.185192.168.0.186192.168.0.173

2. 启动 hbase

主节cobbler1点运行：

$ bin/start-hbase.sh[hadoop@cobbler1 hbase]$ jps

备节cobbler5点运行：

[hadoop@server5 hbase]$ bin/hbase-daemon.sh start master

HBase Master 默认端口时 16000，还有个 web 界面默认在 Master 的 16010 端口上，HBase RegionServers 会默认绑定 16020 端口，在端口 16030 上有一个展示信息的界面。

如果磁盘大小不能满足要求的话Hbase启动不久就会自动挂掉

以下状态就属于磁盘大小未满足要求的状态，过了几秒页面就failed to load了
cobbler1处于master状态

cobbler5处于backup master状态

3. 测试

$ [hadoop@cobbler1 hbase]$ bin/hbase shellhbase(main):003:0> create 'test', 'cf'0 row(s) in 1.2200 secondshbase(main):003:0> list 'test'TABLEtest1 row(s) in 0.2150 seconds=> ["test"]hbase(main):004:0> put 'test', 'row1', 'cf:a', 'value1'0 row(s) in 0.0560 secondshbase(main):005:0> put 'test', 'row2', 'cf:b', 'value2'0 row(s) in 0.0370 secondshbase(main):006:0> put 'test', 'row3', 'cf:c', 'value3'0 row(s) in 0.0450 secondshbase(main):007:0> scan 'test'ROW COLUMN+CELLrow1 column=cf:a, timestamp=1488879391939, value=value1row2 column=cf:b, timestamp=1488879402796, value=value2row3 column=cf:c, timestamp=1488879410863, value=value33 row(s) in 0.2770 seconds$ [hadoop@cobbler5 hadoop]$ bin/hdfs dfs -ls /Found 3 itemsdrwxr-xr-x - hadoop supergroup 0 2017-03-07 23:56 /hbasedrwx------ - hadoop supergroup 0 2017-03-04 17:50 /tmpdrwxr-xr-x - hadoop supergroup 0 2017-03-04 17:38 /user

在主节点上 kill 掉 HMaster 进程后查看故障切换