spark-shell启动的问题解决
来源:互联网 发布:新威胜电能表调试软件 编辑:程序博客网 时间:2024/06/09 08:20
spark-shell启动的问题解决
今儿在启动spark-shell的时候模型奇妙的出现如下几个问题
1)端口占用:4040端口被占用,我们知道这里的4040是worker的端口使用,但是被占用啦,如下图所示:
使用如下命令:netstat -ap |grep 4040
tcp6 0 0 [::]:4040 [::]:* LISTEN 2456/java
发现被进程id 2456所占用了端口。干掉他
kill -9 2456
2)因磁盘空间不足,内存不足,系统掉电等其他原因导致dataNode datablock丢失.从而进入了安全模式,使用如下命令bin/hadoop dfsadmin -safemode leave。再继续扫描磁盘,删除坏块儿bin/hdfs fsck / -delete之后就可以使用了。
Minimally replicated blocks: 0 (0.0 %)
Over-replicated blocks: 0 (0.0 %)
Under-replicated blocks: 0 (0.0 %)
Mis-replicated blocks: 0 (0.0 %)
Default replication factor: 3
Average block replication: 0.0
Corrupt blocks: 43
Missing replicas: 0
Number of data-nodes: 0
Number of racks: 0
FSCK ended at Fri Mar 25 20:51:22 PDT 2016 in 103 milliseconds
- spark-shell启动的问题解决
- spark shell启动脚本
- 启动spark shell
- spark:spark启动、spark-shell启动及测试--7
- spark定制之一:shell启动
- spark-shell 启动 以及 例子
- spark shell 启动出错问题
- 启动spark-shell提示scala版本不一致的解决
- 启动Spark Shell,在Spark Shell中编写WordCount程序,在IDEA中编写WordCount的Maven程序,spark-submit使用spark的jar来做单词统计
- spark shell的学习
- spark shell的学习
- spark-shell的限制
- 启动spark-shell出现问题,解决办法
- spark-submit ClassNotFoundException的问题解决
- spark源码学习(二)------------spark-shell启动分析
- windows安装spark后spark-shell启动报错
- CDH 安装spark后,spark-shell启动报错
- spark-shell的环境测试
- sharedPreferences小记
- Code::blocks报错Can't find compiler executable in you……
- Java.net.URLConnection和Apache HTTPClient的主要区别对比
- 完全卸载sql server 数据库
- 机器学习实战之k-近邻算法
- spark-shell启动的问题解决
- dubbo超时 time out
- 缓动效果相关资源
- struts2 框架搭建
- 集合第四发Map接口
- DOM、JDOM、DOM4J的区别
- ReentrantLock详解
- Java虚拟机(JVM)中的内存设置详解
- 你应该知道的jQuery技巧