集群运行spark时出现的问题
来源:互联网 发布:有线网络信号增强器 编辑:程序博客网 时间:2024/05/16 04:18
在运行spark时遇到一个问题,spark程序在集群上运行了一段时间后,突然挂掉了,查看日志发现了下面的错误信息,如下图所示:
spark程序是提交到yarn上运行的,而在yarn中,container是程序最终运行的容器,从上面的日志上我们可以看到是在container启动时出现了异常,也就是说container容器没有能够正常启动,直接退出了。后来查看提交程序时的命令,如下:
在命令中可以看到设定如果出现内存溢出错误时执行kill命令,再次查看内存发现内存使用已经达到满值,结合来看知道是内存溢出执行了kill命令,最后出现了上述的错误。
解决方法:
此处使用的是CDH集群,所以在yarn的配置中修改内存限制,如图:
0 0
- 集群运行spark时出现的问题
- Spark集群运行问题
- spark集群运行大数据集的word2vec问题汇总
- 运行spark示例Pi可能出现的问题及解决
- eclipse运行spark出现找不到主类的问题
- spark运行spark-shell出现Connection refused问题
- Spark集群运行模式
- Spark-分布式集群运行
- spark程序运行时问题
- Spark集群配置遇到的问题
- windows环境下IDEA运行spark程序出现的异常问题
- Linux系统运行时出现的问题
- spark 集群运行python作业
- spark在集群上运行
- 在集群上运行Spark
- 【解决】Spark运行时产生的临时目录的问题
- 【解决】Spark运行时产生的临时目录的问题
- <SPARK-轉載> spark 集群运行python作业
- 使用virtualenv和virtualenvwrapper
- spring 加载配置文件的方式
- 【cc2541历程】替换协议栈的LCD文件
- 基于 vs2013 + caffe 的 人脸图像 vgg 特征提取
- opencv从零开始——0. 快速上手
- 集群运行spark时出现的问题
- 焚心以火
- typedef常见用法
- [bzoj4816][SDOI2017]数字表格
- remove copyright box on a paper written in LaTex
- Mac下MySQL卸载方法
- Different Ways to Add Parentheses
- JVM性能调优(二)
- 配置个人shadowsocks的一些记录