HIVE lateral view

转：http://yugouai.iteye.com/blog/1849902

Lateral View语法

Sql代码  

1. lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)*  
2. fromClause: FROM baseTable (lateralView)*  

描述

lateral view用于和split, explode等UDTF一起使用，它能够将一行数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。lateral view首先为原始表的每行调用UDTF，UTDF会把一行拆分成一或者多行，lateral view再把结果组合，产生一个支持别名表的虚拟表。

例子

假设我们有一张表pageAds，它有两列数据，第一列是pageid string，第二列是adid_list，即用逗号分隔的广告ID集合：

string pageidArray<int> adid_list"front_page" [1, 2, 3]"contact_page"[3, 4, 5]

要统计所有广告ID在所有页面中出现的次数。

首先分拆广告ID：

 

Sql代码  

1. SELECT pageid, adid FROM pageAds LATERAL VIEW explode(adid_list) adTable AS adid;  

 执行结果：

 

string pageidint adid"front_page"1"front_page"2"front_page"3"contact_page"3"contact_page"4"contact_page"5

接着是一个聚合的统计：

 

Sql代码  

1. SELECT adid, count(1) FROM pageAds LATERAL VIEW explode(adid_list) adTable AS adid GROUP BY adid;  

 执行结果如下：

 

int adidcount(1)1121324151

 

多个lateral view语句

一个FROM语句后可以跟多个lateral view语句，后面的lateral view语句能够引用它前面的所有表和列名。 以下面的表为例：

Array<int> col1Array<string> col2[1,2]["a","b","c"][3,4]["d","e","f"]

Sql代码  

1. SELECT myCol1, col2 FROM baseTableLATERAL VIEW explode(col1) myTable1 AS myCol1;  

 执行结果：

int mycol1Array<string> col21[a", "b", "c"]2[a", "b", "c"]3[d", "e", "f"]4[d", "e", "f"]

加上一个lateral view：

Sql代码  

1. SELECT myCol1, myCol2 FROM baseTable  
2.     LATERAL VIEW explode(col1) myTable1 AS myCol1  
3.     LATERAL VIEW explode(col2) myTable2 AS myCol2;  

 执行结果：

int myCol1string myCol21"a"1"b"1"c"2"a"2"b"2"c"3"d"3"e"3"f"4"d"4"e"4"f"

注意上面语句中，两个lateral view按照出现的次序被执行。