zeppelin spark SparkContext问题 Cannot call methods on a stopped SparkContext
来源：互联网 发布：怎么写好网络小说知乎 编辑：程序博客网 时间：2024/06/06 01:04
在使用zeppelin 写 spark的代码的时候
会出现个问题，zeppelin创建的SparkContext对象会一直占用在集群中
如果spark集群没配置动态资源，这个对象就不会自动释放，一直占着资源，即使没有工作
在spark管理页面，手动kill后
如果再去zeppelin中执行spark操作，即会出现如下错误
感觉像是调不到SparkContext了
Cannot call methods on a stopped SparkContext.
若干小时后
这个问题有点刚了
现阶段想不到一个漂亮的套路，只能够重启zeppelin的方式去重建SparkContext
但是这样的话会让其他的用户无辜遭殃
所以搞个监控去自动重启，也不行。
天无绝人之路呀
后来看到官方的鸡爪
https://issues.apache.org/jira/browse/ZEPPELIN-1306
在0.7.*版本之后
可以实现对单独的note支持重启
程序开始运行
重新运行成功
阅读全文
0 0
- zeppelin spark SparkContext问题 Cannot call methods on a stopped SparkContext
- 坑爹的问题，Spark On Yarn ERROR spark.SparkContext: Error initializing SparkContext.
- SparkContext
- SparkContext
- ERROR spark.SparkContext: Error initializing SparkContext
- ERROR spark.SparkContext: Error initializing SparkContext. java.net.BindException: Cannot assign req
- spark 之 SparkContext
- 【Spark】SparkContext源码解读
- Spark之SparkContext
- Spark SparkContext思想
- Spark 源代码 SparkContext
- spark 2.1 SparkContext postEnvironmentUpdate
- Spark源码学习- SparkContext
- Spark On Yarn 提交任务报错ERROR SparkContext: Error initializing SparkContext.
- A master URL must be set in your configuration at org.apache.spark.SparkContext.<init>(SparkContext.
- Spark系列(三)SparkContext分析
- Spark 学习日志- SparkContext初始化
- Spark源码-SparkContext源码解析
- 滑动窗口的方法解决一些String的查找问题
- Android 禁止状态栏下拉
- lintcode 在二叉查找树中插入节点
- 制作mac系统正式版U盘USB启动安装盘方法教程 (全新安装 Mac 系统)
- CentOS6.7 上面安装Docker 1.7.1
- zeppelin spark SparkContext问题 Cannot call methods on a stopped SparkContext
- 静态编译Qt
- AIDL基本使用4—- 4、linkToDeath和unlinkToDeath
- the object has no symbol
- LDD3源码分析之调试技术
- Windows下设置nginx开机自启
- POJ2411
- 两数组的交
- freemarker项目实践
