hadoop二次format后datanode不启动解决

来源:互联网 发布:淘宝古玩网 编辑:程序博客网 时间:2024/06/16 02:34

在hadoop中,当第二次或者更多执行hdfs namenode -format

再启动hdfs后,可能会出现datanode无法启动,这时需要去看启动日志,日志在hadoop环境目录下的logs里面

查看datanode的log日志hadoop-root-datanode-***.log

如果看到

java.io.IOException: Incompatible clusterIDs in /tmp/hadoop-root/dfs/data: namenode clusterID = CID-5fa5d544-a4ae-4056-ad45-a3564cb23a7a; datanode clusterID = CID-7d56d760-3511-4115-98a3-2bf78faea685

这代表datanode的clusterID和namenode的clusterID不一致,这导致了datanode无法启动


那接下来就是去修改datanode的clusterID,从上面可以看到,我需要去/tmp/hadoop-root/dfs/data里面去修改

进去后再进入current目录,修改VERSION文件

storageID=DS-e9fc3d3d-92cb-401b-9dea-e8f7dd85f9bd
clusterID=CID-5fa5d544-a4ae-4056-ad45-a3564cb23a7a把这里修改成namenode的clusterID,我这里是已经修改过的
cTime=0
datanodeUuid=494b3f61-a269-4e1d-bc8b-c3690f9382a4
storageType=DATA_NODE
layoutVersion=-56


好了,再重启hdfs,datanode就可以启动了