Hive TopN+分组TopN
来源:互联网 发布:电压无功优化的目的 编辑:程序博客网 时间:2024/06/05 01:58
TopN
可以通过sort by limit N 来实现 比 通过order by limit N 来实现要快得多
个人感觉sort by使用的时候如果能合理使用distribute by的话会更均衡一些
sort by可以启动多个reduce,每个reduce做局部排序,但是这对于sort by limit N已经够用了。
第一个JOB是在每个reduce中做局部排序,然后分别取TOP N。假设启动了M个reduce,
第二个JOB再对M个reduce分别局部排好序的总计M * N条数据做全局排序,取TOP N,从而得到想要的结果。
这样就可以大大提高SELECT TOP N的效率。
分组TopN
使用hive窗口函数来实现
列1:
语文成绩是80分的排名是多少
select od from (select *, row_number() over (partition by sub order by score desc) as od from t )t where sub=‘chinese‘ and score=80;
例2:
人群中每种性别里年龄最大的两个人
select id,xb,age,hobby from t1 goup by xb order by age row_number() over (partition by xb order by age asc) as od
where xb=’女’ od >18;
阅读全文
0 0
- Hive TopN+分组TopN
- Hive TopN+分组TopN
- hive 分组topN
- hive 分组+组内排序 , 求topN
- hive 分组+组内排序 , 求topN
- Spark--分组TopN
- mysql 分组topN
- MongoDB系列之分组topN
- Spark Scala TopN分组排序
- 使用RDD解决spark TopN问题:分组、排序、取TopN
- hive分组排序函数-row_number() over (partition by * order by d topN
- Spark核心编程-分组取topN
- spark中实现分组取topN
- Java实现GroupBy/分组TopN功能
- sparksql分组后topN(JAVA)
- Spark Scala 分组排序取TopN
- Spark Java 分组排序取TopN
- hive使用rank实现topN的查询
- 2017 Multi-University Training Contest
- 大暴力 Function
- 数据挖掘导论笔记(1)
- iOS Mac本地服务器moco服务端并进行网络请求实战
- x86汇编程序基础
- Hive TopN+分组TopN
- ResourcePatternResolver
- HDU 2643 Rank
- Java内存溢出!!!
- Pull解析(xml解析)
- 每天一点积累(一)--hashmap底层实现原理
- FZU
- Refletion2017.8.10
- 最长递增子序列