Hive-1.2.1与HBase-1.1.2的整合

来源:互联网 发布:ipadmini2怎么信任软件 编辑:程序博客网 时间:2024/05/22 15:44

Hive-1.2.1与HBase-1.1.2的整合

这里的整合是指,将HBase作为存储数据的库,由Hive作为连接桥梁

修改 Hive hive-site.xml

增加<property>    <name>hbase.zookeeper.quorum</name>    <value>master:2181,slave1:2182,slave2:2183</value>  </property>  <property>

将HBase的以下jar包放到Hive的lib下

hbase-common-1.1.2.jarhbase-server-1.1.2.jarhbase-client-1.1.2.jarhbase-protocol-1.1.2.jarhtrace-core-3.1.0-incubating.jarnetty-all-4.0.23.Final.jarhbase-hadoop2-compat-1.1.2.jarhbase-hadoop-compat-1.1.2.jarmetrics-core-2.2.0.jar

我这里在Hive中创建表时,出现了

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V

这个问题是版本适配问题,关键在Hive 下hive-hbase-handler-1.2.1.jar 这个jar需要重新进行编译

hive-hbase-handler-1.2.1.jar编译步骤

进入hive源码包,找到hbase-handler的源码
使用Eclipse创建java工程,名称随意
这里写图片描述

src(请注意)下导入handler源码
这里写图片描述
这里写图片描述

导入关联jar包
我这里是将Hbase 和 Hive 包下的所有jar包放入了工程下的lib文件夹中,不要将
apache-curator-2.6.0.pom.xml 也导入工程环境中,否则无法正确打包

导出jar包
这里写图片描述
这里写图片描述
剩下的默认即可。

导出jar包后,替换Hive lib 包下的相应jar包(hive-hbase-handler-1.2.1.jar)即可

1 0
原创粉丝点击