Hadoop中正常启动了datanode但管理界面却却显示0个datanode节点或者只有本机的一个datanade,DFS Used显示0(100%)
来源:互联网 发布:河南省农产品出口数据 编辑:程序博客网 时间:2024/06/05 07:52
以下会列出引起该问题的常见原因,及其解决办法
1、在hadoop已经启动的前提下,使用命令netstat -an |grep 9001 (改命令用来监听namenode主节点通信情况,9001为我的端口号)
引起这种情况的原因通常有两种:
(1)/etc/hosts 文件未配置
(2)防火墙未关闭,导致datanode启动了,但却无法与namenode之间进行通信
情况(1)解决方法:关闭hadoop集群,修改hosts文件,命令:sudo vim /etc/hosts,
删除其余的配置,向其中添加主节点以及从节点信息
情况(2)解决办法:关闭hadoop集群,关闭防火墙命令:systemctl stop firewalld.service
禁止防火墙开机启动:systemctl disable firewalld.service
此时再次启动hadoop集群后,输入命令netstat -an |grep 9001
可以看到这些节点彼此间的通信情况:
2、如果是防火墙关闭了、hosts文件也配置好了,在管理界面还是只有本机的datanode,或者一个都没有,那么应该是你多次使用命令hadoop namenode -format对namenode进行了格式化,这就使得/usr/local/hadoop/tmp/dfs 下的data与name中的VERSION clusterID不一致了,把他们改一致即可。
之后去浏览器管理界面输入:master:9001(根据你的节点名和端口号输入)就可以看到启动的节点情况了,(我只启动了一个datanode,所以一个活的,一个死的O~O)
- Hadoop中正常启动了datanode但管理界面却却显示0个datanode节点或者只有本机的一个datanade,DFS Used显示0(100%)
- hadoop启动却发现datanode未启动
- hadoop datanode结点不启动导致dfs控制台显示数据0(Configured Capacity为0)
- Hadoop datanode正常启动,但是Live nodes中却缺少节点的问题
- datanode却没有启动
- hadoop集群不管怎么启动在hadoop管理界面都看到只有一个datanode
- hadoop集群只有一个datanode启动问题
- hadoop集群只有一个datanode启动问题
- Hadoop datanode正常启动,但是Live nodes中却突然缺少节点
- Hadoop datanode节点无法启动
- datanode无法启动 或 DFS Used% :100 % 或 Live Nodes
- 启动hadoop集群DataNode不显示,DataNode显示NodeManager不显示
- hadoop启动datanode的一个异常处理
- Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid)
- Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid)
- hadoop2.5.x搭建集群启动jps在datanode节点无法显示datanode
- HDFS正常启动,DataNode节点个数为0的问题
- hadoop 2.4.0 无法启动datanode
- adb 命令
- Docker容器技术介绍(一) --- Docker安装和简单使用
- Docker之Windows安装
- Oracle VM VirtualBox安装centos7
- 替换本地libc.so为指定libc.so
- Hadoop中正常启动了datanode但管理界面却却显示0个datanode节点或者只有本机的一个datanade,DFS Used显示0(100%)
- XDebug配置信息
- Redis的Replication(主从复制)和sentinel机制
- (2)jsp-model1、model1.x(mv)、model2(mvc)
- Java-类的调用
- python 异常处理
- IDEA+Maven+SSH整合小结
- 震撼大气航拍尼亚加拉大瀑布视频素材4K航拍视频素材
- 【linux下 scrapy 安装】Python.h: No such file or directory