hbase与hive集成

hbase与hive集成
    
官方部署使用参考资料：
    官方文档步骤在hive的官网上：


1、拷贝jar包或创建jar包的软连接
    hive作为一个客户端访问hbase需要hbase相同jar包的依赖支持
    创建软连接，hive作为hbase的客户端需要访问hbase，需要相关jar包依赖
    软连接类似于快捷方式，删除软连接不会删除原文件
       
针对Apache版本：    
export HBASE_HOME=/opt/modules/hbase-0.98.6-hadoop2
export HIVE_HOME=/opt/modules/apache-hive-0.13.1-bin

ln -s $HBASE_HOME/lib/hbase-common-0.98.6-hadoop2.jar  $HIVE_HOME/lib/hbase-common-0.98.6-hadoop2.jar
ln -s $HBASE_HOME/lib/hbase-server-0.98.6-hadoop2.jar $HIVE_HOME/lib/base-server-0.98.6-hadoop2.jar
ln -s $HBASE_HOME/lib/hbase-client-0.98.6-hadoop2.jar $HIVE_HOME/lib/hbase-client-0.98.6-hadoop2.jar
ln -s $HBASE_HOME/lib/hbase-protocol-0.98.6-hadoop2.jar $HIVE_HOME/lib/hbase-protocol-0.98.6-hadoop2.jar
ln -s $HBASE_HOME/lib/hbase-it-0.98.6-cdh5.3.3.jar $HIVE_HOME/lib/hbase-it-0.98.6-hadoop2.jar
ln -s $HBASE_HOME/lib/htrace-core-2.04.jar $HIVE_HOME/lib/htrace-core-2.04.jar
ln -s $HBASE_HOME/lib/hbase-hadoop2-compat-0.98.6-hadoop2.jar $HIVE_HOME/lib/hbase-hadoop2-compat-0.98.6-hadoop2.jar
ln -s $HBASE_HOME/lib/hbase-hadoop-compat-0.98.6-hadoop2.jar $HIVE_HOME/lib/hbase-hadoop-compat-0.98.6-hadoop2.jar
ln -s $HBASE_HOME/lib/high-scale-lib-1.1.1.jar $HIVE_HOME/lib/high-scale-lib-1.1.1.jar


针对CDH版本：

export HBASE_HOME=/opt/modules/hbase-0.98.6-cdh5.3.6
export HIVE_HOME=/opt/modules/hive-0.13.1-cdh5.3.6

ln -s $HBASE_HOME/lib/hbase-common-0.98.6-cdh5.3.6.jar $HIVE_HOME/lib/hbase-common-0.98.6-cdh5.3.6.jar
ln -s $HBASE_HOME/lib/hbase-server-0.98.6-cdh5.3.6.jar $HIVE_HOME/lib/hbase-server-0.98.6-cdh5.3.6.jar
ln -s $HBASE_HOME/lib/hbase-client-0.98.6-cdh5.3.6.jar  $HIVE_HOME/lib/hbase-client-0.98.6-cdh5.3.6.jar
ln -s $HBASE_HOME/lib/hbase-protocol-0.98.6-cdh5.3.6.jar $HIVE_HOME/lib/hbase-protocol-0.98.6-cdh5.3.6.jar
ln -s $HBASE_HOME/lib/hbase-it-0.98.6-cdh5.3.6.jar $HIVE_HOME/lib/hbase-it-0.98.6-cdh5.3.6.jar
ln -s $HBASE_HOME/lib/htrace-core-2.04.jar $HIVE_HOME/lib/htrace-core-2.04.jar
ln -s $HBASE_HOME/lib/hbase-hadoop2-compat-0.98.6-cdh5.3.6.jar $HIVE_HOME/lib/hbase-hadoop2-compat-0.98.6-cdh5.3.6.jar
ln -s $HBASE_HOME/lib/hbase-hadoop-compat-0.98.6-cdh5.3.6.jar $HIVE_HOME/lib/hbase-hadoop-compat-0.98.6-cdh5.3.6.jar
ln -s $HBASE_HOME/lib/high-scale-lib-1.1.1.jar $HIVE_HOME/lib/high-scale-lib-1.1.1.jar
    注意：全部一起复制粘贴执行时，注意最后一条创建软连接的命令有没有执行！！！！  
    


2、修改hive-site.xml
        声明zookeeper的地址，根据自己的集群有几个声明几个；
        hive分析的数据在hbase里，hive关联hbase需要联系zookeeper       
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>192.168.134.101</value>
</property>



3、测试
    利用Hive的分析功能接口，将hbase表数据映射到hive表中，使用hql分析HBase表数据     
    实现思路：
        HBase中已经存储一张student信息表
        去Hive中创建外部表关联映射hbase中的这张student表


1）创建外部关联表
     在hbase中表数据已经存在的情况下要求创建一个外部表
     创建内部表会报错
    

CREATE EXTERNAL TABLE hive_hbase_student(
id int,
name string,
age string
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:name,info:age")
TBLPROPERTIES ("hbase.table.name" = "student4");    


        
说明：    
    第一个key是固定格式，默认为hbase的rowkey，不需要指定列簇；
    其他字段会与hive表的字段顺序一一对应映射；
    hive字段的名称可以与hbase中列的名称不一致
    hive可以只映射出hbase表中的部分列

    
        
2）验证：    
    >select * from hive_hbase_student ;    

    
总结：
    如果第一步jar包的软连接没有创建好此时会报找不到某些类的错误
    一般我们创建hive与hbase表映射表都是外部表，在hive中删除外部表时hbase中表不会被同步删除；
    如果创建的是内部表，所关联的hbase中的表不能提前存在
        当在hive端执行完建表命令后（创建内部表）在hbase的关联表及列簇会同步生成
        内部表情况下在hive端删除hive表的同时会直接删除hbase中的对应的关联表
    hive与hbase外部关联后，数据实际存放在hbase表中
        在Hive表的hdfs存储路径下面：
            /user/hive/warehouse/hive_hbase_table    没有数据
        在Hbase表的hdfs存储路径下面：
            /hbase/data/default/xyz        有数据，实际存放点    

            
CREATE  TABLE  hive_hbase_student1(
id int,
name string,
sex string
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info1:name,info1:sex")
TBLPROPERTIES ("hbase.table.name" = "student2");        
    
    
    
------------------------------------------------------------------
                
思考：
    关联映射后向hive表中加入数据后hbase表中是否会同步数据，能否通过hive作为接口向hbase表中插入数据？
    
测试：    

1）向hive_hbase_student表中load加载数据

    $ vi student1.txt     //新建测试数据
10004   tom1    male    20
10005   mary1   female  18
10006   lio1    male    21

    > load data local inpath '/opt/modules/student1.txt' into table hive_hbase_student ;  
    //报错：非本地表不能使用load加载数据
    
    
2）向hive_hbase_student表中inster插入数据

CREATE TABLE temp1(
id int,
name string,
sex string,
age string
)
row format delimited fields terminated by '\t';   

CREATE TABLE temp1(
id int,
name string,
age string
)
row format delimited fields terminated by '\t';  
         
    > load data local inpath '/opt/modules/hbase-0.98.6-cdh5.3.6/data/student1.tsv' into table temp1 ;
    > insert into table hive_hbase_student select * from temp1 ;

    验证：
    > select * from hive_hbase_student
    > scan 'student'     
    

结论：    
    数据插入成功，可以通过hive作为接口向hbase表中插入数据