hive lateral view语句
来源:互联网 发布:windows xp msdn iso 编辑:程序博客网 时间:2024/06/07 12:00
原文地址:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LateralView#
lateral view用于和split, explode等UDTF一起使用,它能够将一列数据拆成多行数据,在此基础上可以对拆分后的数据进行聚合。
一个简单的例子,假设我们有一张表pageAds,它有两列数据,第一列是pageid string,第二列是adid_list,即用逗号分隔的广告ID集合:
string pageidArray<int> adid_list"front_page"[1, 2, 3]"contact_page"[3, 4, 5]要统计所有广告ID在所有页面中出现的次数。
首先分拆广告ID:
SELECT pageid, adid FROM pageAds LATERAL VIEW explode(adid_list) adTable AS adid;
执行结果如下:
string pageidint adid"front_page"1"front_page"2"front_page"3"contact_page"3"contact_page"4"contact_page"5接下来就是一个聚合的统计:
SELECT adid, count(1) FROM pageAds LATERAL VIEW explode(adid_list) adTable AS adidGROUP BY adid;执行结果如下:int adidcount(1)1121324151多个lateral view语句:一个FROM语句后可以跟多个lateral view语句,后面的lateral view语句能够引用它前面的所有表和列名。以下面的表为例:Array<int> col1Array<string> col2[1, 2][a", "b", "c"][3, 4][d", "e", "f"]SELECT myCol1, col2 FROM baseTableLATERAL VIEW explode(col1) myTable1 AS myCol1;的执行结果为:
int mycol1Array<string> col21[a", "b", "c"]2[a", "b", "c"]3[d", "e", "f"]4[d", "e", "f"]
加上一个lateral view:SELECT myCol1, myCol2 FROM baseTableLATERAL VIEW explode(col1) myTable1 AS myCol1LATERAL VIEW explode(col2) myTable2 AS myCol2;
它的执行结果为:
int myCol1string myCol21"a"1"b"1"c"2"a"2"b"2"c"3"d"3"e"3"f"4"d"4"e"4"f"
注意上面语句中,两个lateral view按照出现的次序被执行。
阅读全文
0 0
- hive lateral view语句
- hive lateral view语句
- hive lateral view语句
- hive lateral view语句:列拆分成行
- Hive lateral view语句(翻译自Hive wiki)
- Hive Lateral view介绍
- hive中的Lateral View
- Hive Lateral view介绍
- Hive Lateral view介绍
- hive Lateral View语法
- HIVE lateral view
- Hive的Lateral View
- Hive Lateral view介绍
- hive Lateral View语法
- hive中的Lateral View
- HIVE lateral view
- HIVE lateral view
- Hive Lateral View
- 6月28日,来香港的第三天
- 使用bochs调试grub2
- Fragment 跳转到 Activity 如何接收回来的数据
- (转)知乎:维度灾难
- mapreduce和shuffle详解
- hive lateral view语句
- 设计模式之简单工厂模式
- oracle数据库导入导出
- excel2013导入SQL
- Java并发容器之ArrayBlockingQueue
- spring集成redis
- 应用层协议的内容与基本原理
- 把妹需要勇敢,心有猛虎,细嗅蔷薇
- storm 1.1.0 与 kafka 2.10-0.10.2.1的安装部署