第146课： Spark面试经典系列之Yarn Cluster生产环境下JVM问题及解决方案

来源：互联网发布：尚学堂大数据视频编辑：程序博客网时间：2024/05/16 12:35

第146课： Spark面试经典系列之Yarn Cluster生产环境下JVM问题及解决方案
1 spark on yarn 下jvm的OOM的问题及解决方式
2 spark中 driver的stack overflow的问题及解决方式

Yarn Cluster生产环境下JVM问题 OOM

为什么客户端模式一定没有OOM，而Cluster模式一定发生OOM，两者之间的区别是driver部署不同，因此
OOM是driver级别导致的OOM

driver在client客户端模式的内存100M，那么在Cluster模式也会是100M，不会一下增长到200M

driver
在client客户端内存100M 没有问题，在Cluster模式内存 100M 有问题：

正常情况下，业务逻辑对象大于50M是很不常见的事情！82M已经很大了
但Driver不一样，高层调度，底层调度放在cluster中，就有可能超过82M

2 spark中 driver的stack overflow的问题及解决方式

0 0