hive使用mapjoin

来源:互联网 发布:管家婆软件普普版 编辑:程序博客网 时间:2024/05/18 03:22

set hive.ignore.mapjoin.hint=true;

set hive.auto.convert.join = true;

可以设置mapjoin的大小:

hive.mapjoin.smalltable.filesize 默认值是25mb

 

hive 0.11之后,在表的大小符合设置时:

hive.auto.convert.join.noconditionaltask=true

hive.auto.convert.join.noconditionaltask.size=10000

hive.mapjoin.smalltable.filesize=25000000

默认会把join转换为map join:

 hive.ignore.mapjoin.hint=true

hive.auto.convert.join=true

不过hive0.11的 map join bug比较多,可以通过在默认关闭map join convert,在需要时再设置hint

 

 

select /*+ mapjoin(b) */

0 0
原创粉丝点击