HIVE中get_json_object与json_tuple使用
来源:互联网 发布:在虚拟机安装mac系统 编辑:程序博客网 时间:2024/05/27 14:14
hive中提供了两种针对json数据格式解析的函数,即get_json_object(…)与json_tuple(…),理论不多说,直接上效果示意图:
假设存在如下json数据对象,若使用hive环境可这么设置:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- get_json_object函数
当使用get_json_object函数时,则可以这么用:
select get_json_object(‘${hivevar:msg}’,’$.server’) from test;
返回:
passport.sing.com
其中,get_json_object函数第一个参数填写json对象变量,第二个参数使用$表示json变量标识,然后用 . 或 [] 读取对象或数组;
- json_tuple函数
当使用json_tuple对象时,可以显著提高效率,一次获取多个对象并且可以被组合使用,写法如下:
select a.* from test lateral view json_tuple(‘${hivevar:msg}’,’server’,’host’) a as f1,f2;
返回:
passport.sing.com wafprdweb03
其中,需要使用lateral view 视图方法来写,不需要加$标示符读取对象,获取的f1,f2对象可用于array()或map()等函数使用
- 另附:parse_url函数使用案例
parse_url(‘http://facebook.com/path/p1.php?query=1‘, ‘HOST’)返回’facebook.com’ ,
parse_url(‘http://facebook.com/path/p1.php?query=1‘, ‘PATH’)返回’/path/p1.php’ ,
parse_url(‘http://facebook.com/path/p1.php?query=1‘, ‘QUERY’)返回’query=1’,
或,可以指定key来返回特定参数,key的格式是QUERY:,
例如:QUERY:k1
parse_url(‘http://facebook.com/path/p1.php?query=1#Ref‘, ‘REF’)返回’Ref’
parse_url(‘http://facebook.com/path/p1.php?query=1#Ref‘, ‘PROTOCOL’)返回’http’
zhuanzi:http://blog.csdn.net/sinat_29508201/article/details/50215351
- HIVE中get_json_object与json_tuple使用
- HIVE中get_json_object与json_tuple使用
- hive json-get_json_object和json_tuple
- hive sql 中lateral view explode/json_tuple的使用
- Hive使用json_tuple, posexplode 解析 json
- hive get_json_object udf
- HiveSQL-get_json_object
- Hive安装与使用
- Hive安装与使用
- Hive运行机制与使用
- hive中使用lzo
- hive中使用rcfile
- HIVE中row_number函数的描述与使用场景
- hive中合理使用union all与multi insert
- #hive#HIVE中使用python实现UDF
- hive中 join与where
- Hive与Hbase使用域
- Hive的安装与使用
- 第2章:SQL基础
- Ajax
- 详细解读response.sendRedirect()与request.getRequestDispatcher().forward()区别
- Java Class类加载资源的一般方法
- H5页面在 ios 端滑动不流畅的问题
- HIVE中get_json_object与json_tuple使用
- 删除数组中重复元素
- Nexus私服的搭建
- 关于"Uncaught TypeError: Cannot read property 'time' of null"的处理
- Java锁的种类以及辨析(三):阻塞锁
- java.lang.IllegalStateException: Expected BEGIN_ARRAY but was BEGIN_OBJECT at line 1 column 34 path
- 适配iPhone X Push过程中TabBar位置上移
- ceph IO切割成对象和对象名的组成
- 微图App有哪些实用的功能?