Spark疑问1之如何查看sparkContext没有关闭的sc
来源：互联网 发布：安德烈波切利 知乎 编辑：程序博客网 时间：2024/04/29 17:26
更多代码请见：https://github.com/xubo245/SparkLearning
Spark疑问1之如何查看sparkContext没有关闭的
在跑完spark程序后有时会忘记执行sc.stop
hadoop@Master:~/cloud/testByXubo/spark/hs38DH/package$ ./cluster.sh fq0.count:105887 Method 1=> Length:2971 sum:7888989 time:34715msMethod 2=> Length:2971 sum2:7888989 time:5665msMethod 3=> Length:2971 sum3:7888989.0 time:1362ms16/04/17 14:15:21 WARN QueuedThreadPool: 2 threads could not be stopped
如何查看集群中没有关闭的sc的数量？
这会不会影响集群的内存或者其他性能？
0 0
- Spark疑问1之如何查看sparkContext没有关闭的sc
- spark 之 SparkContext
- Spark之SparkContext
- Spark源码分析之SparkContext
- 解决Windows下pyspark无法初始化SparkContext(sc)的问题
- (一) spark源码理解之SparkContext
- Spark学习之4：SparkContext执行过程
- Spark源码解读之SparkContext初始化
- Spark分析之SparkContext启动过程分析
- spark源码学习（一）---sparkContext(1)
- Spark源码学习笔记1-SparkContext
- Spark源码分析学习记录1-SparkContext
- Spark编程之基本的RDD算子sparkContext，foreach，foreachPartition， collectAsMap
- 坑爹的问题，Spark On Yarn ERROR spark.SparkContext: Error initializing SparkContext.
- Spark修炼之道（高级篇）——Spark源码阅读：第二节 SparkContext的创建
- spark (1)初学者对于spark的几个疑问
- Spark如何在一个SparkContext中提交多个任务
- Spark疑问3之spark 如何并行执行多个Job？
- JAD java反编译工具（class反射工具）
- mySelf
- 读唐巧博客2011年总结感想
- SVM核函数总结
- 【NYOJ】[266]字符串逆序输出
- Spark疑问1之如何查看sparkContext没有关闭的sc
- mySQL数据库Sql语句执行效率检查--Explain命令
- 二，细说 HTML5 之 HTML5 基础讲解 2
- webstorm 按照文件名查找文件 快捷键
- 0-1背包问题
- 详解struct、class中成员变量的字节对齐
- 那些年我们一起学过的“排序算法”
- ROWNUM用法--SELECT * FROM T WHERE ROWNUM=1
- 百度地图之添加覆盖物
