Hadoop中正常启动了datanode但管理界面却却显示0个datanode节点或者只有本机的一个datanade,DFS Used显示0(100%)

来源:互联网 发布:河南省农产品出口数据 编辑:程序博客网 时间:2024/06/05 07:52

 以下会列出引起该问题的常见原因,及其解决办法

1、在hadoop已经启动的前提下,使用命令netstat  -an |grep 9001  (改命令用来监听namenode主节点通信情况,9001为我的端口号)


引起这种情况的原因通常有两种:

(1)/etc/hosts 文件未配置

(2)防火墙未关闭,导致datanode启动了,但却无法与namenode之间进行通信

 情况(1)解决方法:关闭hadoop集群,修改hosts文件,命令:sudo vim /etc/hosts,


删除其余的配置,向其中添加主节点以及从节点信息

情况(2)解决办法:关闭hadoop集群,关闭防火墙命令:systemctl stop firewalld.service

                             禁止防火墙开机启动:systemctl disable firewalld.service 

此时再次启动hadoop集群后,输入命令netstat  -an |grep 9001 

可以看到这些节点彼此间的通信情况:


2、如果是防火墙关闭了、hosts文件也配置好了,在管理界面还是只有本机的datanode,或者一个都没有,那么应该是你多次使用命令hadoop namenode -format对namenode进行了格式化,这就使得/usr/local/hadoop/tmp/dfs 下的data与name中的VERSION  clusterID不一致了,把他们改一致即可。


之后去浏览器管理界面输入:master:9001(根据你的节点名和端口号输入)就可以看到启动的节点情况了,(我只启动了一个datanode,所以一个活的,一个死的O~O)



阅读全文
0 0
原创粉丝点击