Hbase集群安装配置

一、   Hbase安装

1、解压安装包hbase-1.2.6-bin.tar.gz至路径 /home/hadoop1/Desktop，命令如下：

#cd /home/hadoop1/Desktop

#tar  xfvz   hbase-1.2.6-bin-tar.gz

2、将解压的文件名hbase-1.2.6改为hbase，以方便使用，命令如下：

    # mv  hbase-1.2.6 hbase

3、配置环境变量

将hbase下的bin目录添加到path中，这样，启动hbase就无需到/home/hadoop1/hbase/bin目录下方便了hbase的使用。

    # vim /etc/profile

    Export  HBASE_HOME=/home/hadoop1/Desktop/hbase

    exportPATH=$PATH:/home/hadoop1/Desktop/hbase/bin

    如果已经引入过PATH在export PATH这行追加:/home/hadoop1/Desktop

    执行sourse命令使修改生效:source /etc/profile

4、添加hbase权限

    #chown  -R  hadoop:hadoop1hbase

5、查看HBase版本，确定hbase安装成功,命令如下

    #hbase version

二、hbase配置

1、配置hbase/conf/hbase-env.sh。命令如下：

    #vi hbase/conf/hbase-env.sh

export JAVA_HOME=/home/hadoop1/Desktop/jdk版本

export HBASE_MANAGES_ZK=true

2、配置hbase/conf/hbase-site.xml

配置成如下：

<configuration>

        <property>

            <name>hbase.rootdir</name>

            <value>hdfs://master:9000/hbase</value>

        </property>

        <property>

           <name>hbase.cluster.distributed</name>

           <value>true</value>

        </property>

<property>

           <name>hbase.zookeeper.quorum</name>

           <value>master,slave1,slave2,slave3</value>

</property>

<property>

          <name>hbase.zookeeper.property.dataDir</name>

          <value>zookeeper</value>

</property>

</configuration>

配置hbase/conf/regionservers，在regionservers文件中添加如下内容：

slave1

slave2

slave3

regionservers文件列出了所有运行hbase的机器（即HRegionServer)。此文件的配置和Hadoop中的slaves文件十分相似，每行指定一台机器的主机名。当HBase启动的时候，会将此文件中列出的所有机器启动。关闭时亦如此。我们的配置意为在slave1, slave2, slave3 上都将启动 RegionServer。

将配置好的 hbase 文件分发给各个 slave

#scp -r hbase hadoop1@slave1:/home/hadoop1/Desktop

#scp -r hbase hadoop1@slave2:/home/hadoop1/Desktop

#scp -r hbase hadoop1@slave3:/home/hadoop1/Desktop

三、接下来测试运行HBase。

第一步：首先登陆ssh，之前设置了无密码登陆，如果已经启动hadoop请跳过此步骤。命令如下：

#start-dfs.sh

第二步：启动HBase.命令如下:

#start-hbase.sh

输入命令jps发现HMaster、HQuorumPeer、HRegionServer都已经启动。Master会有HMaster、HQuorumPeer两个进程。Slave会有HQuorumPeer,HRegionServer两个进程。

进入shell界面：hbase shell

四、Hbase shell 命令

1、通用命令

命令

描述

status

显示服务器状态，例如：5 servers,0 dead,25.000 average load

这里有三个开关，如下：

hbase> status ‘simple’

hbase> status ‘summary’

hbase> status ‘detailed’ 

whoami

显示hbase当前用户。

hbase> whoami

version

显示hbase版本

list

这个命令将列出hbase已有的表。如下：

list

list ‘stu.*’

count

统计指定表的记录数。如下：

Count ‘tableName’

默认每次显示1000行。这个计数间隔可以任意指定。扫描缓存默认启动计数扫描。默认缓存是10行。如果行规模小，可以增大这个参数。

hbase> count ‘table1’

hbase> count ‘table1’,INTERVAL=>100000

hbase> count ‘table1’,CACHE=>1000

hbase> count ‘table1’,INTERVAL=>10,CACHE=>1000

如果有很多行记录，Hbase默认的计数器会花费很多时间来进行计数。所以，可以用Hbase MapReduce JAR文件来加快这个操作，使用方法如下：

hadoop jar hbase.jar rowcount tablenametocount

describe

这个命令以表名为参数，对表结构信息进行展示，语法如下:

hbase> describe ‘tableName’

exist

如果有成千上万张表，我们需要检查表是否存在于Hbase中，可以使用这个命令。如果表较少，可以很容易用list列出来，如果有很多表，很难通过滚动表的列来找到它，所以可以使用这个命令来找到它，语法如下：hbase> exists ‘tableName’

is_enabled

检查表是否启用。语法如下：

hbase> is_enabled ‘tableName’

is_disabled

检查表是否被禁用。语法如下：

hbase> is_disabled ‘tableName’

show_filters

显示HBase中的过滤器列表。hbase> show_filters

2、数据操作命令

命令

描述

alter

使用这个命令可以改变表和列族的模式。

下面的命令将添加一个列族colFam到表中：

hbase> alter ‘table’,{NAME=>’colFam’,VERSIONS=>1}

从表t1中删除f1列族，使用如下命令：

hbase> alter ‘t1’,NAME=>’fam1’,METHOD=>’delete’

之前的简化版本：

hbase>alter ’t1’, ‘delete’=>’fam1’

也可以更改表的范围属性，如MAX_FILESIZE、MEMSTORE_FLUSHSIZE、READONLY以及DEFERROR_LOG_FLUSH。

例如，为了改变一个列族的最大大小为128MB，使用如下命令：

hbase> alter ‘table’,METHOD=>’table_att’,MAX_FILESIZE=>’12345678’

也可以使用一个命令进行多次变更：

hbase> alter ‘table’,{NAME=>’fam1’},{NAME=’fam2’,METHOD=’delete’}

alter_status

这个可以给出alter命令的状态。

hbase>alter_status ‘tableName’

alter_async

不管alter是否完成，这个命令不等待所有的region获得模式的改变。

hbase> alter_async ‘t1’,NAME=>’f1’,METHOD=>’delete’

disable

为了删除或更改而禁用表。

hbase> disable ‘tableName’

disable_all

这将禁用匹配给定正则表达式的所有表。

hbase> disable_all ‘table*’

drop

删除HBase中的表。在删除表之前必须先禁用。

hbase> disable ‘tableName’

hbase> drop ‘tableName

drop_all

这将删除匹配给定正则表达式的所有表。

hbase> drop_all ‘table*’

enable

在更改之后启用表。

hbase> enable ‘tableName’

enable_all

启用匹配给定正则表达式的所有表。

hbase> enable_all ‘table*’

delete

删除一行中一个单元格的值。

hbase> delete ‘table’,’row1’,’colFam:name’

这会删除row1中name列的值

Deleteal

删除一个表的完整行或指定列。

deleteall ‘table’,’row1’

这会删除整个row1

deleteall ‘table’,’row1’,’colFam:name’

这也会删除row1中的name列

truncate

这将禁用表、删除表、并重建表模式。所以当drop时，需要手动禁用表，然后再进行删除。如果只是想删除数据而不是删除表模式，可以使用truncate，它会自动删除并重新创建被删除的表模式：

hbase> truncate

3、数据创建命令

命令

描述

create

这个命令用来创建制定模式的新表。

hbase> create ‘tableName’, ’cf1’

这将创建一个列族为cf1的表。然后可以添加数据和动态添加列。

hbase> create ‘tableName’, {NAME=’colFam1’,’NAME=colFam2’,versions=>5}

这将创建一个列族为colFam1、colFam2，有5个版本记录的表。

 

 

4、数据读取命令

命令

描述

scan

这个命令遍历表中的行并显示到标准输出。这将列出表中所有的记录。扫描器可能包括TIMERANGE、FILTER、LIMIT、STARTROW、STOPROW、TIMESTAMP、MAXLENGHT以及COLUMNS。如果没有指定列，所有的列将被扫描。为了扫描一个列族的所有成员，让列修饰符为空。如’col_family:’。

hbase>  scan  ‘.META’

hbase>  scan  ‘.META’， {COLOUMNS=>’info:regioninfo’}

hbase>  scan  ‘t1’,  {COLUMN=>[‘c1’, ‘c2’], LIMIT=>10,STARTROW=>’xyz’}

hbase>  scan  ‘t1’,  {COLUMNS=>’c1’,  TIMERANGE=>[1303668804,1302668904]}

get

通过表明、行、选项、列字典、时间戳、时间范围以及版本获取行或单元格。

hbase> get ‘tableName’, ‘row1’

hbase> get ‘tableName’, ‘row1’, {TIMESTAMP=>[ts1,ts2]}

hbase> get ‘tableName’, ‘row1’, {COLOUMN=>’c1’}

hbase> get ‘tableName’, ‘row1’, {COLOUMN=>[’c1’, ‘c2’, ‘c3’]}

hbase> get ‘tableName’, ‘row1’, {COLOUMN=>’c1’, TIMESTAMP=>ts1}

hbase> get ‘tableName’, ‘row1’, {COLOUMN=>’c1’, TIMESTAMP=>[ts1,ts2],VERSIONS=>4}

hbase> get ‘tableName’, ’row1’, ‘c1’

hbase> get ‘tableName’, ’row1’, ‘c1’, ’c2’

hbase> get ‘tableName’, ’row1’, [ ‘c1’, ‘c2’]

get_counter

这会返回指定表/行/列位置的单元格计数器的值。一个单元格可以通过HBase中原子自增函数来进行管理，并且数据应该是二进制编码。

hbase> get_counter ‘t1’, ‘r1’, ‘c1’

incr

增加指定表/行/列位置单元格的值。为了使得表t1中的r1行c1列中的单元格的值增加1(可忽略)或者10,可以这么做:

hbase> incr ‘t1’, ‘r1’, ‘c1’

hbase> incr ‘t1’, ‘r1’, ‘c1’, 1

hbase> incr ‘t1’, ‘r1’, ‘c1’, 10

5、复杂的管理命令

命令

描述

close_region

关闭一个region。这个关闭操作是没有master参与的（它并不知道关闭操作）。一旦该region是关闭的，它将保持关闭。使用assign可重新打开/分配。使用unassigned或move可分配到集群的其他region上。

hbase> close_region ‘regionName’

hbase> close_region ‘regionName’, ‘REGIONSERVER_IP:PORT’

assign

分配一个region并强制将分配的这个region设置为true。

balance_switch

启用/禁用平衡器并返回到之前平衡器的状态。

Hbase> balance_switch true

Hbase> balance_switch false

balancer

HBase具有一个内置的功能，称为平衡器，一旦启动，默认每5分钟运行一次，它将尝试让指定RegionServer分配的region保持平衡。这将表明HBase上的平衡器是否启用。

compact

压缩指定表的所有region

flush

刷新指定表的所有region到磁盘上。

hbase> flush ‘tableName’

hbase> flush ‘regionName’

major_compact

这个命令将在指定表上进行大合并

move

移除一个region。

hbase> move ‘ENCODE_REGIONNAME’

hbase> move ‘ENCODE_REGIONNAME’, ‘SERVER_NAME’

split

拆分一个表和一个独立的region

unassign

这个命令会取消RegionServer上的分配

hlog_roll

开始写日志到一个新文件。RegionServer的名称应作为参数。

hbase> hlog_roll

list_peers

这会列出集群中所有的复制节点。

hbase > list_peers

 

6、安全命令

命令

描述

grant

这个命令用来授予用户特定的权限。授予权限是零或者来自更多字母序列，RWXCA:R表示读，W表示写，X表示执行，C表示创建，A表示管理。

hbase> grant ‘userName’, ‘RWXCA’

hbase> grant ‘userName’, ‘RWC’, ‘table1’, ‘colFam’ ,’column’

revoke

回退/撤销访问权。

hbase> revoke ‘userName’, ‘table’, ‘colFam’, ‘column’

user_permission

habse> user_permission ‘userName’

7、命名空间

命令

描述

create_namespace

创建命名空间。

hbase> create_namespace ‘tableStugroup’

hbase> ’namespace:table’, ‘colFam’

这将在namespace命名空间中创建列族为colFam的一张表。

drop_namespace

这用于删除命名空间。

hbase> drop_namespace ‘snamespace’

alter_namespace

hbase> alter_namespace ‘snamespace’, {METHOD=>’set’, 

‘PROPERTY_NAME’=>‘PROPERTY_VALUE’}

list_namespace_tables

列出命名空间中的表。

hbase> list_namespace_tables ‘namespace’

list_namespace

列出所有的命名空间。

hbase> list_namespace

describe_namespace

描述命名空间

hbase> describe_namespace