结合linux命令讲解线上用hive拉取hbase数据

需求描述

最近刚搞定入职，过段时间要着重研究漏斗模型这一块，所以要先要去线上环境拉取数据，我们打算的是用hive建外部表关联hbase的做法，去拉取用户信息

拉取流程

由于本机不能直接访问线上master，我们这边是先ssh到跳板机，然后从跳板机再ssh到线上环境，进入hive，创建mapping hbase的外部表，导出数据，压缩到本地，打包后scp到跳板机，再跳板机scp到本机pc，操作比我上家规范很多，下面结合linux命令讲一下

步骤

1. ssh到跳板机 这里就是个ssh命令：ssh username@ip(hostname)，此时输入跳板机的秘密，成功就跳转到跳板机，同样从跳板机ssh到线上环境就可以了
2. hive创建外部表 先进入hive shell，cd到hive目录下的bin路径，由于我们只是导数据，所以需要创建一个mapping到hbase的tmp表就可以

CREATE EXTERNAL TABLE tmp_hb_user(uid string COMMENT 'from deserializer',username string COMMENT 'from deserializer',gender string COMMENT 'from deserializer',thirdpartyName string COMMENT 'from deserializer') STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,user:realName,user:gender,user:thirdpartyName") TBLPROPERTIES("hbase.table.name" = "hb_user");

由于我们并不需要hbase中user的全部属性，直接感兴趣的mapping好就可以，我们这里取数据只要用户id，用户名，性别，渠道商就可以，而uid由于是rowkey，所以在映射的时候就是:key,而其他的直接映射就好
3. 表创建好我们可以查一下数据

select count(*) from tmp_hb_user;

我们会发现会触发一个job，然后计算出结果，证明我们外部表创建成果
4. 导数据到本地

insert overwrite local directory "/tmp/user_info" row format delimited FIELDS  TERMINATED BY '\t' select * from tmp_hb_user

这里其实也就指定了分隔符，以及本地文件系统的路径
5. 打包
结束后我们去/tmp/user_info查看下，ls发现有数据，打成tar.gz包
tar -zcvf /tmp/user_info.tar.gz /tmp/user_info
执行结束就发现路径下多了个压缩包
6. 传回跳板机
此时我们还在master，那就scp到跳板机
scp /localpath username@hostname:/remotepath2save
这里username就是跳板机的用户，hostname就是跳板机的ip，如果有改hosts，就是hostname，localpath就是本地要传送的文件路径，而remotepath则是跳板机的存放路径
7. 传回本地
由于我们本机ip是ipv6，而且是动态的ip，所以最好的方法是在本机执行远程拷贝
scp username@hostname:/remotepath /localpath2save
执行完就发现本地有了文件
8. 解压缩
tar -zxvf /path4savetar.gz /path2save
解压完成我们今天的工作就可以了，后续就可以进行数据分析

my github