Hive快捷查询:不启用Mapreduce job启用Fetch task三种方式介绍
来源:互联网 发布:javiewer差不多的软件 编辑:程序博客网 时间:2024/05/29 13:16
1.什么情况下,可以不启用MapReduce Job?
2.方法1通过什么方式,不启用job?
3.bin/hive --hiveconf hive.fetch.task.conversion=more的作用是什么?
我们都知道,启用MapReduce Job是会消耗系统开销的。对于这个问题,从Hive0.10.0版本开始,对于简单的不需要聚合的类似SELECT <col> from <table> LIMIT n语句,不需要起MapReduce job,直接通过Fetch task获取数据,可以通过下面几种方法实现:
方法一:
上面 set hive.fetch.task.conversion=more;开启了Fetch任务,所以对于上述简单的列查询不在启用MapReduce job!
方法二:
方法三:
上面的两种方法都可以开启了Fetch任务,但是都是临时起作用的;如果你想一直启用这个功能,可以在${HIVE_HOME}/conf/hive-site.xml里面加入以下配置:
这样就可以长期启用Fetch任务了,很不错吧,也赶紧去试试吧!
2.方法1通过什么方式,不启用job?
3.bin/hive --hiveconf hive.fetch.task.conversion=more的作用是什么?
4.如果一直开启不使用MapReduce Job,该如何配置?
如果你想查询某个表的某一列,Hive默认是会启用MapReduce Job来完成这个任务,如下:
我们都知道,启用MapReduce Job是会消耗系统开销的。对于这个问题,从Hive0.10.0版本开始,对于简单的不需要聚合的类似SELECT <col> from <table> LIMIT n语句,不需要起MapReduce job,直接通过Fetch task获取数据,可以通过下面几种方法实现:
方法一:
上面 set hive.fetch.task.conversion=more;开启了Fetch任务,所以对于上述简单的列查询不在启用MapReduce job!
方法二:
方法三:
上面的两种方法都可以开启了Fetch任务,但是都是临时起作用的;如果你想一直启用这个功能,可以在${HIVE_HOME}/conf/hive-site.xml里面加入以下配置:
这样就可以长期启用Fetch任务了,很不错吧,也赶紧去试试吧!
0 0
- Hive快捷查询:不启用Mapreduce job启用Fetch task三种方式介绍
- Hive快捷查询:不启用Mapreduce job启用Fetch task三种方式介绍
- Hive:简单查询不启用Mapreduce job而启用Fetch task
- Hive:简单查询不启用Mapreduce job而启用Fetch task
- Hive:简单查询不启用Mapreduce job而启用Fetch task
- Hive:简单查询不启用Mapreduce job而启用Fetch task
- [Hive]简单查询不启用Mapreduce job而启用Fetch task
- Hive:简单查询不启用Mapreduce job而启用Fetch task
- 让Hive简单的查询不启用Mapreduce而启用Fetch task本地运行
- Hive之简单查询不启用MapReduce
- C#实现启用、禁用本地网络的三种方式
- C#实现启用、禁用本地网络的三种方式
- linux shell 启用调试模式的三种方式
- Hive简单查询的Fetch Task功能与实战
- 启用
- Hive的三种连接查询方式
- CAS不启用HTTPS
- 启用MySQL查询缓存
- Gas Station
- AOP OOP介绍
- Python Tutorial(六):模块
- Qt5.1 发布程序
- Android开发学习笔记之sdk更新问题
- Hive快捷查询:不启用Mapreduce job启用Fetch task三种方式介绍
- sas中retain语句的作用
- 在网络营销的产品在许多方面
- Membership 网站安全相关配置节
- 通过window.name 实现 javascript页面间传值
- solr-4.7.2目录和配置
- PostgreSQL使用指南
- 新手大战Android源码之启动过程
- iOS Code Signing 学习笔记