hive中order by,sort by, distribute by, cluster by作用以及用法
来源:互联网 发布:九九乘法表 java 编辑:程序博客网 时间:2024/06/05 11:59
这里跟传统的sql还有一点区别:如果指定了hive.mapred.mode=strict(默认值是nonstrict),这时就必须指定limit来限制输出条数,原因是:所有的数据都会在同一个reducer端进行,数据量大的情况下可能不能出结果,那么在这样的严格模式下,必须指定输出的条数。
2. sort by
Hive中指定了sort by,那么在每个reducer端都会做排序,也就是说保证了局部有序(每个reducer出来的数据是有序的,但是不能保证所有的数据是有序的,除非只有一个reducer),好处是:执行了局部排序之后可以为接下去的全局排序提高不少的效率(其实就是做一次归并排序就可以做到全局排序了)。
3. distribute by和sort by一起使用
ditribute by是控制map的输出在reducer是如何划分的,举个例子,我们有一张表,mid是指这个store所属的商户,money是这个商户的盈利,name是这个store的名字
store:
midmoneynameAA15.0商店1AA20.0商店2BB22.0商店3CC44.0商店4
执行hive语句:
- select mid, money, name from store distribute by mid sort by mid asc, money asc
4. cluster by
cluster by的功能就是distribute by和sort by相结合,如下2个语句是等价的:
- select mid, money, name from store cluster by mid
- select mid, money, name from store distribute by mid sort by mid
- select mid, money, name from store cluster by mid sort by money
0 0
- hive中order by,sort by, distribute by, cluster by作用以及用法
- hive中order by,sort by, distribute by, cluster by作用以及用法
- hive中order by,sort by, distribute by, cluster by作用以及用法
- hive中order by,sort by, distribute by, cluster by作用以及用法
- hive中order by,sort by, distribute by, cluster by作用以及用法
- hive中order by,sort by, distribute by, cluster by作用以及用法
- hive中order by,sort by, distribute by, cluster by作用以及用法
- hive中order by,sort by, distribute by, cluster by作用以及用法
- Hadoop回顾--hive中order by,sort by, distribute by, cluster by作用以及用法
- hive中order by,sort by, distribute by, cluster by作用以及用法
- hive中order by,sort by, distribute by, cluster by作用以及用法
- hive中order by,sort by, distribute by, cluster by作用以及用法
- hive中order by,sort by, distribute by, cluster by作用以及用法
- hive中order by,sort by, distribute by, cluster by作用以及用法
- hive中order by,sort by, distribute by, cluster by作用以及用法
- hive中order by,sort by, distribute by, cluster by作用以及用法
- hive中order by,sort by, distribute by, cluster by作用以及用法
- hive中order by,sort by, distribute by, cluster by作用以及用法
- leetcode 87 Scramble String(动态规划)
- 调和级数
- OpenCV简介
- Xamarin的一些设置
- 无参考图像质量评价之可察觉模糊程度方法(JNB)
- hive中order by,sort by, distribute by, cluster by作用以及用法
- redhat虚拟机安装jdk1.8和tomcat8
- FutureTask和线程池的结合使用
- log4j配置详解
- 售票问题
- IT技术学习指导之Linux系统入门的4个阶段
- 【POJ 2001 Shortest Prefixes】+ 字典树
- 使用fsdbdebug抽取fsdb文件中的信号列表
- HBase插入和读取图片