HIVE点滴：group by和distinct语句的执行顺序

同一条语句之中，如果同时有group by和distinct语句，是先group by后distinct，还是先distinct后group by呢？

先说结论：先group by后distinct。

 

以下是在HIVE中的验证：

1）建表：其中xxx替换为本地目录名

create external table tmp_tb(id int,content int) row format delimitedfields terminated by ','stored as textfilelocation '/tmp/xxx';

 

2）从tmp_tb文件中导入数据

load datalocal inpath '/home/xxx/tmp_tb'overwrite into table tmp_tb;

 tmp_tb内容：

1,5

2,6

2,5

2,5

3,6

 

3）仅有group by时：

select id, count(content)from tmp_tbgroup by id;

结果如下：

1 1

2 3

3 1

 

4）同时有group by和distinct时：

select id, count(distinct content)from tmp_tbgroup by id;

结果如下：

1 1

2 2

3 1

 

可见，同时有group by和distinct时，显然是先group by 后distinct。如果是先distinct，后group by，则结果应该只有两条记录，因为content只有5和6两种数值。