一次查询2
来源:互联网 发布:淘宝能改店铺名称吗 编辑:程序博客网 时间:2024/05/21 11:09
用df计算sql,写入hive表,用相同的聚合处理3类不同的distinct(因为一次只算一个distinct可以利用shuffle的分发,提高速度,对大数据量的处理,比如20亿条数据distinct,大概只能一次distinct一个值了。)发现对于数据量较小的第二,第三块处理时间较快,对较多的groupping sets产生数据也较少,而对第一个有20亿条需要处理的部分则输入50G,产生2Tgroupping后的数据,之后在再次聚合的时候应该发生了倾斜。问题在于:对于同样的输入,为什么一开始input就大小不一样?shuffle write输出了什么,为什么50G输入会输出2T数据?如果第一部分聚合好,第二部分不应该倾斜,原因是什么?
倾斜情况观察
输入输出让我不能理解的地方
另外当聚合的group维度上升到7维时,执行第一阶段任务大批量失败,应该是executor的内存满了,报错是can not find address;后来降了一维为减轻倾斜的维度后第一阶段正常运行,但是第二阶段倾斜如上所述。
阅读全文
0 0
- 一次查询2
- 一次查询
- 第二篇一次查询
- 记一次SQL查询
- elasticsearch查询:一次成功一次失败
- 记一次MySQL查询优化
- 查询最后一次消费记录
- 一次MySQL查询优化实战
- 记一次SQL查询优化
- 记一次sql慢查询
- 记一次慢查询优化
- SQL优化一则:CBO查询SQL一次比一次慢
- 记一次sql server 性能调优,查询从20秒至2秒
- 查询人员最后一次发工资
- sql 查询最近一次日期的访问
- 一次索引导致查询缓慢问题
- 保存上一次Query中的查询条件
- “轻松”实现一次查询多表
- Python基础(二)-format方法
- 20170607Windows09_03_进程
- RF, GBDT, XGBOOST 之 Random forest
- 【硅谷问道】 WWDC 17: 开发者的最初观感
- C语言char强制类型转换unsigned int时的问题
- 一次查询2
- 使用ubuntu 9.10不能安装软件(apt-get下载提示Package has no installation candidate问题),使用apt-get upgrade/update 命令错
- 安装软件报2503错误
- CAS代理相关方法之间的调用
- 置换,模拟,优化(HDU 5338,ZZX and Permutations)
- CSS的位置设置
- git简易使用
- 实训第一天-总结与期望
- Genymotion模拟器安装Genymotion-ARM-Translation异常