Hive 的 distribute by
来源:互联网 发布:苹果笔记本装mac 编辑:程序博客网 时间:2024/05/29 07:35
Order by 能够预期产生完全排序的结果,但是它是通过只用一个reduce来做到这点的。所以对于大规模的数据集它的效率非常低。在很多情况下,并不需要全局排序,此时可以换成Hive的非标准扩展sort by。Sort by为每个reducer产生一个排序文件。在有些情况下,你需要控制某个特定行应该到哪个reducer,通常是为了进行后续的聚集操作。Hive的distribute by 子句可以做这件事。
- // 根据年份和气温对气象数据进行排序,以确保所有具有相同年份的行最终都在一个reducer分区中
- From record2
- select year, temperature
- distribute by year
- sort by year asc, temperature desc;
因此,distribute by 经常和 sort by 配合使用。
0 0
- Hive 的 distribute by
- Hive 的 distribute by
- Hive 的 distribute by
- hive中的distribute By
- hive中的distribute By
- hive中的distribute By
- Hive distribute by sorl by order by 的区别
- 大数据学习25:Hive 中 distribute by 的测试
- hive中order by,sort by,distribute by,Cluster By的区别
- Hive中order by,sort by,distribute by,cluster by的区别
- Hive中order by,sort by,distribute by,cluster by的区别
- hive中order by、distribute by、sort by和cluster by的区别和联系
- Hive中order by,sort by,distribute by,cluster by的区别
- Hive中order by,sort by,distribute by,cluster by的区别
- Hive中order by,sort by,distribute by,cluster by的区别
- Hive中order by、sort by、distribute by、cluster by的区别
- Hive优化----distribute by和sort by
- hive Sort By/Order By/Cluster By/Distribute By
- [LeetCode] Rotate List
- xcode 6 如何将 模拟器(simulator) for iphone/ipad 转变成 simulator for iphone
- 什么是数据填报,有什么特点
- NSUserDefaults的使用
- Mac系统下 修改mysql的最大连接数
- Hive 的 distribute by
- Android中SQLite的使用方法
- 与己书
- HBase0.98.6.1 基本包
- CentOS6.5 通过extundelete恢复误删数据
- eclipse 非常好用的快捷键
- 人品计算机
- Jquery $.trim(str)去除字符串空格
- 人类语言的力量和无力