hive select * 为什么提交job

来源:互联网 发布:我想招聘网络推销员 编辑:程序博客网 时间:2024/05/17 05:03

hive select * 为什么提交job

小八59876斯咳 | 浏览 40 次
发布于2016-08-15 11:40最佳答案
hive 0.10.0为了执行效率考虑,简单的查询,就是只是select,不带count,sum,group by这样的,都不走map/reduce,直接读取hdfs文件进行filter过滤。这样做的好处就是不新开mr任务,执行效率要提高不少,但是不好的地方就是用户界面不友好,有时候数据量大还是要等很长时间,但是又没有任何返回。
改这个很简单,在hive-site.xml里面有个配置参数叫
hive.fetch.task.conversion
将这个参数设置为more,简单查询就不走map/reduce了,设置为minimal,就任何简单select都会走map/reduce
原创粉丝点击