hive学习笔记:FetchTask
来源:互联网 发布:最大淘宝小号交易平台 编辑:程序博客网 时间:2024/06/02 18:22
hive学习笔记:FetchTask
我们在执行hive代码的时候,一条简单的命令大部分都会转换成为mr代码在后台执行,但是有时候我们仅仅只是想获取一部分数据而已,仅仅是获取数据,还需要转化成为mr去执行吗?那个也太浪费时间和内存啦,所以有一个hive的配置如下图所示:
我们会发现这个属性所对应着两种模式,minimal和more。
在minimal下,我们执行select * ,limit,filter在一个表所属的分区表上操作,这三种情况都会直接进行数据的拿去,也就是直接把数据从对应的表格拿出来,不用跑mr代码,这样会快点儿运行程序。
在more模式下,运行select,filter,limit,都是运行数据的fetch,不跑mr应用,所以感觉more模式会更好点儿。
具体的我们看看下面的演示:
set hive.fetch.task.conversion=minimal //默认情况下是minimal
select * from emp
select empno from emp;//mr应用程序
set hive.fetch.task.conversion=more
select empno from emp;//mr应用程序
可以看到这种情况下。select的查询据变成了数据的fetch而不是mr应用。
1 0
- hive学习笔记:FetchTask
- Hive学习笔记--Hive 优化
- Hive学习笔记--Hive JDBC
- HIVE学习笔记:初识HIVE
- HIVE的学习笔记
- Hive学习笔记汇总
- hive学习笔记1
- hive学习笔记
- HIVE学习笔记
- Hive学习笔记
- hive学习笔记
- hive学习笔记
- hive学习笔记
- Hive学习笔记
- hive学习笔记-转载
- hive-学习笔记
- Hive学习笔记(1)
- Hive & Performance 学习笔记
- 【方便查】git分支建立删除,打tag
- 纯代码写CollectionViewCell的复用问题
- php计算两个经纬度地点之间的距离
- ORACLE常用的sql语句
- 表达式与函数
- hive学习笔记:FetchTask
- MySQL数据库主从同步
- getApplicationContext()和Activity.this区别
- PHP多进程编程理论+实战
- zabbix Agent端在CentOS6.5上的安装过程
- CPU组合逻辑控制方式
- ddms如何检查是否有内存泄露
- c++模板的特化和偏特化
- 【方便查】git bash命令(仓库外)