spark-shell中以yarn-client模式运行内存溢出问题尝试的解决方案

在spark-shell中以yarn-client模式运行时，查询sql出现了内存溢出的问题：

尝试：

在 spark-defaults.conf加入

spark.yarn.am.memory  2g               (默认512M)

在spark-env.sh中加入了

export SPARK_EXECUTOR_MEMORY=2g      (默认1g)
export SPARK_DRIVER_MEMORY=1g              (默认512 m)
重启spark-shell后刚开始没有出现内存溢出。但是后然又出现内存溢出了。

尝试在/etc/profile中加入：

export JAVA_OPTS='-Xms1024m -Xmx2048m  -XX:PermSize=512m -XX:MaxPermSize=1024m  -XX:+PrintGCDetails -server'

上面的参数说明：

Xms：初始堆大小-Xmx：最大堆大小-Xmn：最小值PermSize 永久保存区域初始大小MaxPermSize 永久保存区域初始最大值运行了会儿，发现还是会出现内存溢出。

尝试在spark-defaults.conf中添加以下参数：

spark.driver.extraJavaOptions      -XX:PermSize=511m -XX:MaxPermSize=1023m 

然后启动spark-shell，执行ps -ef | grep spark命令，发现设置的属性已经改变。

spark-shell中执行了几次，暂时没有出现内存溢出现象。