Spark执行过程出现outofmemory错误的解决方案
来源:互联网 发布:新闻发布系统源码 编辑:程序博客网 时间:2024/04/29 12:54
进入Spark的conf目录,找到spark-env.sh文件,添加如下值:
export SPARK_WORKER_MEMORY=4gexport SPARK_WORKER_INSTANCES=2export SPARK_EXECUTOR_MEMORY=4gexport SPARK_DRIVER_MEMORY=4gexport SPARK_JAVA_OPTS="-Xms2048m -Xmx4096m -Dspark.cores.max=2 -Dspark.executor.memory=4g"
考虑只添加如下值应该也可以:
export SPARK_JAVA_OPTS="-Xms2048m -Xmx4096m -Dspark.cores.max=2 -Dspark.executor.memory=4g"
注意上面的2048等数值可以根据配置自行调整。
0 0
- Spark执行过程出现outofmemory错误的解决方案
- Android下导入大图片出现OutOfMemory的解决方案
- 解决Eclipse出现OutOfMemory错误
- 使用BitmapFactory出现outofmemory错误
- ConcurrentLinkedQueue(无界队列) 的outofMemory错误解决方案
- 怎样捕捉存储过程执行过程中出现的错误?
- 【Spark】Spark 执行出现的兼容性坑
- MySQL安装过程中出现“APPLYsecuritysettings错误”的解决方案
- Anaconda2 安装过程中出现的ascii编码错误解决方案
- loadrunner执行场景过程中出现的错误
- scrapy执行过程中出现的错误分析
- 执行脚本过程中出现^M: bad interpreter: No such file or directory错误解决方案
- hadoop在执行过程中OutOfMemory
- Eclipse经常出现OutOfMemory错误,如何解决
- OutOfMemory解决方案
- 以wordcount理解spark的执行过程
- 位图引起的内存溢出OutOfMemory解决方案
- 位图引起的内存溢出OutOfMemory解决方案
- git 配置身份登陆git
- 深度学习
- 蓝牙电话 HFP 剖析(三) --- flow解析
- "三关" + "一关"
- rtmpdump代码简单分析
- Spark执行过程出现outofmemory错误的解决方案
- C语言: gotoxy函数
- Android 4个常用的工具类
- nonce和timestamp在Http安全协议中的作用
- PHP的闭包技术分析
- .bat批处理 搜索当前目录及子目录下的文件
- Web第一部分(1-1)
- mysql建立部分索引
- layer-list学习