Spark疑问1之如何查看sparkContext没有关闭的sc
2016-04-17 15:30
239 查看
更多代码请见:https://github.com/xubo245/SparkLearning
Spark疑问1之如何查看sparkContext没有关闭的
在跑完spark程序后有时会忘记执行sc.stop
如何查看集群中没有关闭的sc的数量?
这会不会影响集群的内存或者其他性能?
Spark疑问1之如何查看sparkContext没有关闭的
在跑完spark程序后有时会忘记执行sc.stop
hadoop@Master:~/cloud/testByXubo/spark/hs38DH/package$ ./cluster.sh fq0.count:105887 Method 1=> Length:2971 sum:7888989 time:34715ms Method 2=> Length:2971 sum2:7888989 time:5665ms Method 3=> Length:2971 sum3:7888989.0 time:1362ms 16/04/17 14:15:21 WARN QueuedThreadPool: 2 threads could not be stopped
如何查看集群中没有关闭的sc的数量?
这会不会影响集群的内存或者其他性能?
相关文章推荐
- mySQL数据库Sql语句执行效率检查--Explain命令
- JAD java反编译工具(class反射工具)
- libc.so.6被误删除后的急救
- NYOJ-48小明的调查作业
- ENode 2.8 最新架构图简介
- 那些年我们一起学过的“排序算法”
- View6.2替换VCS和Composer服务器证书
- ROWNUM用法--SELECT * FROM T WHERE ROWNUM=1
- 二,细说 HTML5 之 HTML5 基础讲解 2
- PostgreSQL ./configure问题
- webstorm 按照文件名查找文件 快捷键
- linux下C实现对键盘事件的监听(按下键盘的时候程序立刻读取)
- [leetcode] 241. Different Ways to Add Parentheses
- 【NYOJ】[266]字符串逆序输出
- [STL] list的使用
- CC2541 程序编译错误——Warning[w52]
- 努力吧,现在也不晚
- 读唐巧博客2011年总结感想
- diy数据库(二)--网络通信类
- 条件运算符的使用