Hive定期抽取hbase的解决办法
来源:互联网 发布:河南昭大网络靠谱吗 编辑:程序博客网 时间:2024/06/04 23:40
当我们用HBase 存储实时数据的时候, 如果要做一些数据分析方面的操作, 就比较困难了, 要写MapReduce Job。 Hive 主要是用来做数据分析的数据仓库,支持标准SQL 查询, 做数据分析很是方便,于是便很自然地想到用Hive来载入HBase的数据做分析, 但是很奇怪地是, 上网查了一下, 只看到以下两种情况:
1. 如何用Hive 往HBase里面插入大量的数据。
2. Hive 与HBase集成, 直接从Hive里面连HBase的数据库进行查询。参考链接: https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration
选项1是我们需求的逆操作, 直接忽略, 选项2, 虽然没有做专门的Benchmark, 但总感觉直接对HBase进行查询操作不怎么靠谱, 如果我们要频繁做很多类型的数据分析, 那HBase的压力一定会倍增。
难道没有把HBase里面的数据直接导入到Hive当中的工具或者方法吗?
找了一会, 似乎没找到, 那么只好自己想一个解决方案了。
利用选项2, 先打通Hive对HBase指定表的全表访问, 再建立一个新的空表, 把查询出来的数据全部导入到新表当中, 以后的所有数据分析操作在新表中完成。
说干就干, 让我们试一个简单的例子。
首先在HBase里面建一个表, 名为 student, 包含 id 和 name 两个column.
hbase shellcreate 'student', 'id', 'name'
向表中插入两行数据
put 'student', 'row1', 'id:val', '1'put 'student', 'row1', 'name:val', 'Tony'put 'student', 'row2', 'id:val', '2'put 'student', 'row2', 'name:val', 'Mike'
注意:在插入数据的时候一定要指定column (如id:val, name:value) 直接使用column family (如 id, name) 去存数据会导致后面Hive 建表的时候有问题。
扫描此表, 确定数据已经插入
scan 'student'ROW COLUMN+CELL row1 column=id:val, timestamp=1384939342989, value=1 row1 column=name:val, timestamp=1384939365511, value=Tony row2 column=id:val, timestamp=1384939351444, value=2 row2 column=name:val, timestamp=1384939379245, value=Mike
建立Hive 对HBase的访问
参考: https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration
这里我们使用的是Pivotal 公司的Pivotal Hadoop,
hive --auxpath /usr/lib/gphd/hive/lib/hive-hbase-handler-0.11.0-gphd-2.1.1.0.jar,/usr/lib/gphd/hbase/hbase.jar,/usr/lib/gphd/zookeeper/zookeeper.jar,/usr/lib/gphd/hbase/lib/guava-11.0.2.jar -hiveconf hbase.zookeeper.quorum=centos62-3,centos62-4,centos62-5
后面三个jar 包主要是Hive 访问时需要用到的, hhbase.zookeeper.quorum=centos62-3,centos62-4,centos62-5 是指hbase使用的是这三个zookeeper, 这样就不用指定hbase master了。
这个命令运行完以后会打开Hive 的输入终端。
从Hive建立可以访问HBase的外部表
CREATE EXTERNAL TABLE student(key string, id int, name string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITH SERDEPROPERTIES ("hbase.columns.mapping" = "id:val,name:val")TBLPROPERTIES("hbase.table.name" = "student");
扫描student表, 确认访问成功:
hive> select * from student;OKrow1 1 Tonyrow2 2 Mike
但是此时这个表实际上是一个虚拟表, 实际的数据还在HBase中。 下面需要在Hive中另建一个结构一样的空表, 再把数据导出来。
Hive中建立一个新的空表
CREATE TABLE new_student ( key string, id INT, name STRING)ROW FORMAT DELIMITEDFIELDS TERMINATED BY '\t'STORED AS TEXTFILE;
将数据从HBase中导入到新的Hive表中
hive> INSERT OVERWRITE TABLE new_student SELECT * FROM student;
hive> select * from new_student;OKrow1 1 Tonyrow2 2 Mike
以后所有复杂的数据查询和数据分析都可以在new_student表中完成。
版权声明:
本文由 雷子-晓飞爸 所有,发布于http://www.cnblogs.com/npumenglei/ 如果转载,请注明出处,在未经作者同意下将本文用于商业用途,将追究其法律责任。
- Hive定期抽取hbase的解决办法
- 【Hive/HBase】Hive与HBase的整合
- 【hbase】HBase 定期备份
- TOMCAT定期自动正常退出的解决办法
- SSH连接总是定期断掉的解决办法
- HBase 定期备份
- HBase 定期备份
- 用mapreduce程序将hive写数据到hbase慢的解决办法
- Hive与HBase的整合
- hive与hbase的区别
- Hive与Hbase的区别
- Hive与Hbase的区别
- hive/hbase的简单操作
- Hive与HBase的整合
- Hive与Hbase的区别
- hive和hbase的整合
- Hive和HBase的区别
- Hive与Hbase的整合
- Ubuntu交叉工具链配置
- 5.2.2中国剩余定理
- kali 简单安装中文输入法
- DM8168 不容错过的创龙达芬奇开发板
- 【Linux内核设计与实现】进程调度
- Hive定期抽取hbase的解决办法
- 使用简单 好看的CSS加载动画源码
- Notification使用详解之一:基础应用
- 自定义dialog
- 《sip揭秘》格式详解
- makefile变量使用
- poj 3469 Dual Core CPU(最小费用最大流)
- 结构体指针---恶补之六
- 静态变量和静态函数