解决集群搭建找不到datanode的问题
来源:互联网 发布:中国数据安全 编辑:程序博客网 时间:2024/06/11 00:25
解决"no datanode to stop"问题
当我停止Hadoop时发现如下信息:
no datanode to stop
原因:每次namenode format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,有两种解决方案:
第一种解决方案如下:
1)先删除"/usr/hadoop/tmp"
rm -rf /usr/hadoop/tmp
2)创建"/usr/hadoop/tmp"文件夹
mkdir /usr/hadoop/tmp
3)删除"/tmp"下以"hadoop"开头文件
rm -rf /tmp/hadoop*
4)重新格式化hadoop
hadoop namenode -format
5)启动hadoop
start-all.sh
使用第一种方案,有种不好处就是原来集群上的重要数据全没有了。假如说Hadoop集群已经运行了一段时间。
建议采用第二种。
第二种方案如下:
1)修改每个Slave的clusterID使其与Master的clusterID一致。
或者
2)修改Master的clusterID使其与Slave的clusterID一致。
该"namespaceID"位于"/home/zkpk/hadoopdata/dfs/name/current/VERSION"文件中,前面蓝色的可能根据实际情况变化,但后面红色一般是不变的。
例如:查看"Master"下的"VERSION"文件
本人建议采用第二种,这样方便快捷,而且还能防止误删。
总结一下,其实找不到datanode的原因可能往往是因为自己搭建集群的时候格式化多次了,当然不排除机子突然抽风了,本来集群搭建第一次格式化时namenode生成一个clusterID,并且复制给子节点了,当再次不小心格式化的时候导致namenode和datanode的clusterID不一样了,所以才会出现start-all.sh的时候找不到datanode了。
当我停止Hadoop时发现如下信息:
no datanode to stop
原因:每次namenode format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,有两种解决方案:
第一种解决方案如下:
1)先删除"/usr/hadoop/tmp"
rm -rf /usr/hadoop/tmp
2)创建"/usr/hadoop/tmp"文件夹
mkdir /usr/hadoop/tmp
3)删除"/tmp"下以"hadoop"开头文件
rm -rf /tmp/hadoop*
4)重新格式化hadoop
hadoop namenode -format
5)启动hadoop
start-all.sh
使用第一种方案,有种不好处就是原来集群上的重要数据全没有了。假如说Hadoop集群已经运行了一段时间。
建议采用第二种。
第二种方案如下:
1)修改每个Slave的clusterID使其与Master的clusterID一致。
或者
2)修改Master的clusterID使其与Slave的clusterID一致。
该"namespaceID"位于"/home/zkpk/hadoopdata/dfs/name/current/VERSION"文件中,前面蓝色的可能根据实际情况变化,但后面红色一般是不变的。
例如:查看"Master"下的"VERSION"文件
本人建议采用第二种,这样方便快捷,而且还能防止误删。
总结一下,其实找不到datanode的原因可能往往是因为自己搭建集群的时候格式化多次了,当然不排除机子突然抽风了,本来集群搭建第一次格式化时namenode生成一个clusterID,并且复制给子节点了,当再次不小心格式化的时候导致namenode和datanode的clusterID不一样了,所以才会出现start-all.sh的时候找不到datanode了。
0 0
- 解决集群搭建找不到datanode的问题
- 解决hadoop集群环境datanode无法启动的问题
- 【那些遇到的坑】—hadoop完全分布式集群搭建namenode找不到datanode,总显示0
- 搭建hadoop伪集群时遇到的datanode不启动的问题
- 搭建Hadoop2集群出现Datanode启动不了的问题及解决办法
- Hadoop集群搭建过程中DataNode与TaskTracker节点的问题
- 解决hadoop集群中datanode启动后自动关闭的问题
- 解决hadoop集群中datanode启动后自动关闭的问题
- 解决hadoop集群中datanode启动后自动关闭的问题
- 腾讯云hadoop集群搭建步骤,namenode/datanode启动问题
- hadoop集群搭建datenode为0问题的解决
- 在搭建mysql集群中遇到的问题,求解决
- 集群搭建好datanode启动不了
- hadoop集群搭建datanode,nodemanager启动不了
- 如何解决Hadoop集群环境下DataNode无法连接NameNode问题
- 解决DRM找不到的问题。
- 解决MenuBuilder找不到的问题
- DataNode进程启动后自动关掉的问题的解决
- 2004年分区联赛普级组之三 FBI树
- 机器学习笔记1-Supervised learning
- 程序员必读诗
- 统计分析——数据的预处理
- Hibernate二级缓存详解
- 解决集群搭建找不到datanode的问题
- php 网页发送post请求
- 域内socket
- NHibernate使用入门(十四)
- 设计模式之装饰者模式
- JVM内存模型
- POJ 2449 A*k短路
- OpenCV代码提取:morphologyEx函数的实现
- Android自定义电源view