hive select * 为什么提交job
来源:互联网 发布:我想招聘网络推销员 编辑:程序博客网 时间:2024/05/17 05:03
小八59876斯咳 | 浏览 40 次
发布于2016-08-15 11:40最佳答案
hive 0.10.0为了执行效率考虑,简单的查询,就是只是select,不带count,sum,group by这样的,都不走map/reduce,直接读取hdfs文件进行filter过滤。这样做的好处就是不新开mr任务,执行效率要提高不少,但是不好的地方就是用户界面不友好,有时候数据量大还是要等很长时间,但是又没有任何返回。
改这个很简单,在hive-site.xml里面有个配置参数叫
hive.fetch.task.conversion
将这个参数设置为more,简单查询就不走map/reduce了,设置为minimal,就任何简单select都会走map/reduce
阅读全文
0 0
- hive select * 为什么提交job
- 解决为什么提交spark job 在web上没有进度
- hive并行执行job
- hive并行执行job
- hive并行执行job
- hive job oom问题
- MapReduce: Job提交过程
- Job 提交&初始化
- Hadoop Job的提交
- hadoop job提交总结
- spark job提交过程
- hive mapred.job.tracker设置
- hive 实现job并发执行
- Hive Job status not available
- 提交指定的JOB STEP
- Job的提交—客户端
- Job的提交—客户端
- job提交的源码分析
- DexClassLoader 研究
- Android文件存储目录结构
- webstorm激活
- 熊猫烧香
- latex中插入图片
- hive select * 为什么提交job
- NAS上nfs协议相关设置
- 【C++】学习笔记三十九——内联函数
- Intellij IDEA 2016.3.4 注册激活
- Caused by: org.hibernate.HibernateException: Could not parse configuration: file:/E:/chen/apache-tom
- ADC0使用注意
- 拨号拦截
- ssh 免密码登录
- kafka配置详解