hadoop启动出现异常 java.io.IOException: Incompatible namespaceIDs in
来源:互联网 发布:python socket arp 编辑:程序博客网 时间:2024/06/05 08:51
<span style="font-size:18px;"> </span>
启动hadoop前,需要先对namenode格式化
bin/hadoop namenode -formatbin/start-all.sh
启动后,有时会出现下面的类似异常:
<span style="font-size:18px;">2014-07-14 22:34:49,364 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/huangjinhui/hadoop/hadoop-huangjinhui/dfs/data: namenode namespaceID = 1146077961; datanode namespaceID = 1706635767 at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:233) at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:148) at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:298) at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:216) at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1283) at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1238) at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1246) at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1368) </span>
原因是bin/hadoop namenode -format 每次会重新创建一个namenodeId,
保存数据的目录没有删除还下包含了上次format下的id,
namenode -format清空了namenode下的数据,但是没有清空datanode下的数据,
导致启动时失败,所要做的就是每次fotmat前,清空保存数据的目录一下的所有目录;
保存数据的目录默认是 tmp/dfs/data,可以在core-site.xml文件中重新配置保存数据的目录,比如:
<property> <name>hadoop.tmp.dir</name> <value> /home/huangjinhui/hadoop/hadoop-${user.name} </value> </property>
0 0
- hadoop启动出现异常 java.io.IOException: Incompatible namespaceIDs in
- org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /
- java.io.IOException: Incompatible namespaceIDs in /usr/hadoop/tmp/dfs/data: namenode namespaceID = 6
- org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in
- 遇到问题---Hadoop---java.io.IOException: Incompatible namespaceIDs
- hadoop启动jobtracker时错误java.io.IOException: Incompatible namespaceIDs的解决方法
- org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs
- DataNode: java.io.IOException: Incompatible namespaceIDs in /dfs/dfs/data: namenode namespaceID = 69
- start-dfs datanode没启动起来,异常java.io.IOException: Incompatible clusterIDs in
- hadoop错误,重新格式化namenode后,出现java.io.IOException Incompatible clusterIDs
- 5、Hadoop datanode无法启动,报错: java.io.IOException: Incompatible clusterIDs
- bug:datanode启动后立刻死掉:java.io.IOException: Incompatible clusterIDs in....
- hadoop配置新节点后,出现 org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible n
- hadoop安装过程出现Incompatible namespaceIDs 错误解决方案
- HADOOP报错Incompatible namespaceIDs
- HADOOP报错Incompatible namespaceIDs
- HADOOP报错Incompatible namespaceIDs .
- HADOOP报错Incompatible namespaceIDs
- [心得]模拟交易第一天
- 【囧囧笑话集】做一个愉快的少年
- C语言——算法排序(冒泡排序)
- Algorithms—抽签
- Java基础Calendar类SimpleDateFormat及其应用(求出某一年的某天是星期几,而且求出这一天是这一年的第几天)
- hadoop启动出现异常 java.io.IOException: Incompatible namespaceIDs in
- 归来赛 kAri-OJ 399 都谁有趣
- 2014.7.14面向对象和内存解析
- HTML5 <!DOCTYPE html>
- 经典SQL语句大全
- 初步配置log4j(在java web中使用)
- Java enum的用法详解
- 4-4. 猜数字游戏(15)
- 杭电1002