Hadoop 从零开始学习系列-hive与hbase外部关联表建立及数据导入
来源:互联网 发布:deepin linux软件中心 编辑:程序博客网 时间:2024/06/07 06:27
由于项目中要把统计的结果提供给外部使用,由于hive查询启动mapreduce等等太慢,所以考虑把数据导入到hbase,用hbase实现。
其中调研过用bulkload来把数据导入hbase。这个下篇再记。此篇只记hive建立外部表及数据导入
建立外部表的sql
create table test_outside (key string,sip string,cip string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties ("hbase.columns.mapping" = ":key,fr:sip,fr:cip") tblproperties("hbase.table.name" = "test_hbase");如果table前有external字段,则需要HBASE表存在。
导入数据,注意,导入的数据里,key对应的字段必须不为null且长度大于0,不然会抛错
insert overwrite table test_outside select key,sip,cip from test where dt='20130724' ;
输入hbase shell
scan 'test_hbase'可以看到所有导入的记录
0 0
- Hadoop 从零开始学习系列-hive与hbase外部关联表建立及数据导入
- Hadoop 从零开始学习系列-hive从元数据生成表结构、分区等建表语句
- hive与hbase关联表
- hbase与hive关联
- 用hive外部表访问hbase数据
- hadoop系列-linux及hadoop、hdfs、hive、hbase常用命令
- Hive数据导入HBase
- HBASE数据导入HIVE
- Hive表数据导入到Hbase
- Hive表数据导入到Hbase
- hadoop生态系统学习之路(八)hbase与hive的数据同步以及hive与impala的数据同步
- hadoop系列-hive和hbase
- HBase学习之一: 创建hive和hbase关联表
- Hive内部表与外部表区别,数据导入与数据读取方式小结
- Hive之导入外部数据
- hive导入数据到hbase
- Hive学习(二)-数据导入及导出
- Hadoop Hive与Hbase整合
- GDB - Debugging stripped binaries
- linux下安装java环境
- ROS学习笔记
- 给Eclipse设置android的SDK位置时,出现这个:This Android SDK requires Andr...ate ADT to the latest
- LockWindowUpdate 讲解
- Hadoop 从零开始学习系列-hive与hbase外部关联表建立及数据导入
- 线段树模板
- git@oschina 上的web项目基础框架
- C#如何操控FTP
- 欧几里得算法 模板
- Activity,Fragment,Service生命周期
- 值得推荐的C/C++框架和库
- Java反射机制 以及 method.invoke运用
- css3.0中transition属性设置过度的动态效果