关于Spark运行流式计算程序中跑一段时间出现GC overhead limit exceeded
来源:互联网 发布:wind金融数据 编辑:程序博客网 时间:2024/05/21 22:32
最近在升级一个框架的时候,发现某个流式计算程序每隔一定的时间就会出现GC overhead limit exceeded的错误问题。
这个问题肯定是内存不够,但是初始设置的内存是够的啊,于是进行各种内存优化,如将变量定义在循环体外等控制,但是发现只是将这个间隔时间往后推了一下而已。
还是没有找到症结所在。
后来再分析了下,可能是哪些变量占了内存没有及时释放掉,
看到了好几个dataframe的cache代码,但这个cache应该 spark有个自动释放清理的机制的。
为了进行测试,手动添加unpersist进行内存释放,再上线,发现问题果然消失了。
原来这个问题真的是内存的问题。
再仔细看了下官方说明。
Spark automatically monitors cache usage on each node and drops out old data partitions in a least-recently-used (LRU) fashion. If you would like to manually remove an RDD instead of waiting for it to fall out of the cache, use the RDD.unpersist() method.
可能还是这个自动机制在流式计算中有点赶不上,导致出现的错误。这个坑还是非常深。
0 0
- 关于Spark运行流式计算程序中跑一段时间出现GC overhead limit exceeded
- GC overhead limit exceeded : Spark
- spark出现GC overhead limit exceeded和java heap space
- spark出现GC overhead limit exceeded和java heap space
- IDEA运行spark MLlib程序遇到java.lang.OutOfMemoryError:GC overhead limit exceeded
- spark-OutOfMemory:GC overhead limit exceeded 解决
- spark OutOfMemoryError (GC overhead limit exceeded)
- 出现GC overhead limit exceeded 的解决方案
- mvn出现GC overhead limit exceeded
- 出现GC overhead limit exceeded 的解决方案
- 出现GC overhead limit exceeded 的解决方案
- 出现GC overhead limit exceeded 的解决方案
- GC overhead limit exceeded
- GC overhead limit exceeded
- GC overhead limit exceeded
- android运行时出现 Unable to execute dex: GC overhead limit exceeded 的错误。
- android 运行或打包出现java.lang.OutOfMemoryError: GC overhead limit exceeded
- spark-OutOfMemory:GC overhead limit exceeded 解决,timelimitexceeded
- SSZipArchive的简单使用,不解压的情况下获取文件名
- appium获取屏幕分辨率
- IOS移动端(H5)alert/confirm提示信息去除网址(URL)
- Java Validation
- Oracle 使用MERGE INTO 语句更新数据
- 关于Spark运行流式计算程序中跑一段时间出现GC overhead limit exceeded
- Design a class named Queue for storing integers. Like a stack, a queue holds elements. In a stack,
- 算法学习-最长括号匹配
- 第十一周 oj训练 求两个整数的最大公约数和最小公倍数
- InstallShield LE 打包MySQL
- Android5.0--Activity过度动画
- 剖析Elasticsearch集群系列第一篇 Elasticsearch的存储模型和读写操作
- Only the original thread that created a view hierarchy can touch its views异常处理思路
- 好词好句好景