groupByKey一直OOM处理
来源:互联网 发布:贵族 知乎 编辑:程序博客网 时间:2024/04/29 08:33
1、一个任务很简单,就是把2T数据读入,按\t拆分,取里面四个字段,之后groupByKey,但是遇到了一直groupByKey就一直fullGC的问题。这里第一个stage很快就跑完了,应该是在拉数据,map之类的。但是只产出19G数据,groupByKey直接处理应该还是绰绰有余的,但现实是我试了一个周末加一天加两个小时,一直FullGC。这个原因不明,对于整个过程内存到底怎么使用还不完全清楚。
log一直出现的问题:
用小数据很快就完了,所以是性能的问题:
2、但确定光groupByKey19G数据还是可以的,所以分两阶段,先把map完数据存在盘上。然后再读这个中间数据,之后再groupByKey,顺利跑完。
阅读全文
0 0
- groupByKey一直OOM处理
- oom处理
- Android处理OOM心得
- android OOM 处理
- 遇到OOM如何处理?
- Android如何处理OOM
- android处理oom异常
- OOM异常的处理
- 有关OOM的一些处理
- 加载本地图片oom处理
- 内存优化,OOM异常处理
- Bitmap合理处理避免OOM
- OOM-美团处理方式
- OOM的一些处理方式
- 避免GroupByKey
- groupByKey reduceByKey
- 一则OOM死机故障的处理过程
- 一则OOM死机故障的处理过程
- PHP7的新特性
- 以太坊智能合约Hello World示例程序
- Kafka集群配置---Windows版
- 欢迎使用CSDN-markdown编辑器
- linux图形界面学习
- groupByKey一直OOM处理
- 图像的阈值化-OTSU、固定阈值法、基于局部的阈值化
- BigDecimal比较大小
- 带进度条的文件上传
- Jfinal 开发学习
- C语言中double、long、unsigned、int、char类型数据所占字节数
- poj3281(最大流)
- 月饼如何高速有效的销售?
- nginx+tomcat 初学