hive 索引

设置索引：
hive> set hive.optimize.index.groupby=false;
hive> set hive.optimize.index.filter=true;                      

注意 hive.optimize.index.groupby必须设置生false，不然 hive.optimize.index.filter不起作用。

hive> explain select count(1) from ctest where dp_id='10275499';

STAGE PLANS:  Stage: Stage-3    Map Reduce      Alias -> Map Operator Tree:        taobao_db__aatest_aatestindex__           TableScan            alias: taobao_db__aatest_aatestindex__            filterExpr:                expr: (tid = '57301233')                type: boolean            Filter Operator

可以发现会执行索引。

然而：

不使用索引cpu耗时：

Total MapReduce CPU Time Spent: 1 minutes 45 seconds 300 msec

使用索引cpu耗时：

Total MapReduce CPU Time Spent: 5 minutes 2 seconds 250 msec

让人很费解，使用索引后性能上没有得到提升。