spark运行时候datanode无故消失

来源:互联网 发布:中小银行市场份额数据 编辑:程序博客网 时间:2024/05/22 11:48

这应该是多次格式化节点,或者集群不按照正常程序关机开启导致的错误,导致namenode clusterID和datanode clusterID前后不一致
这里写图片描述

解决方案:
(1)在hadoop文件加下sbin/stop-all.sh
(2)检查jps没有集群线程在运行了
(3)找到 Hadoop文件加下/dfs/data
(4)删除data文件夹下的临时文件current等
(5)重新格式化集群hadoop namenode -format
(6)启动所有节点/hadoop/sbin/start-all.sh,jps一下,发现datanode又出现了