Journal Storage Directory not formatted

来源:互联网 发布:linux 777 什么权限 编辑:程序博客网 时间:2024/06/05 23:59

hadoop实现HA后,需要部署三个Journal 节点,来同步namenode数据;
由于线上机器需要,要更好一台部署了Journal 节点的机器,于是停进程更换机器;
Journal 节点建议是三个点,另找了台机器部署,启动进程,修改namenode节点的配置信息;
问题:
1.第一次报Journal 的目录没有,于是创建目录;
2.接着又报Journal 的目录没有格式化;
这如何格式化,只是记得新搭建HA时需要格式化,现在格式化岂不是其他两个节点也就挂了;
网络搜索后发现需要同步数据,将另外两个好的点上随便一个节点的数据拷贝过来即可,tar打包,scp拷贝解压,重启Journal ,OK。

hadoop的namenode节点页面上显示:
NameNode Journal Status
Writing segment beginning at txid 420935912. 192.168.70.92:8485 (Written txid 420935982), 192.168.70.93:8485 (Written txid 420935982), 192.168.60.122:8485 (Written txid 420935982)

网络搜索该异常处理三种类型:
类型一:
当你从异常信息中看到JournalNode not formatted,如果在异常中看到三个节点都提示需要格式化JournalNode。
如果你是新建集群,你可以重新格式化NameNode,同时你会发现,JournalNode的目录被格式化…
类型二:
如果只是其中一个JournalNode没有被格式化,那么首先检查你的JournalNode目录权限是否存在问题,然后从其他JournalNode复制一份到没有格式化的JournalNode。
类型三:
如果你从一个no-HA更新到HA,you can do this …
hdfs namenode -initializeSharedEdits
也就是你可以不用格式化NameNode就可以格式化你的JournalNode目录

异常详情:

2017-07-04 19:49:18,931 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 8485, call org.apache.hadoop.hdfs.qjournal.protocol.QJournalProtocol.getEditLogManifest from 192.168.60.121:56067 Call#0 Retry#0org.apache.hadoop.hdfs.qjournal.protocol.JournalNotFormattedException: Journal Storage Directory /opt/hadoop-2.5.1/hdfs/journal/bcmoreservices not formatted        at org.apache.hadoop.hdfs.qjournal.server.Journal.checkFormatted(Journal.java:457)        at org.apache.hadoop.hdfs.qjournal.server.Journal.getEditLogManifest(Journal.java:640)        at org.apache.hadoop.hdfs.qjournal.server.JournalNodeRpcServer.getEditLogManifest(JournalNodeRpcServer.java:185)        at org.apache.hadoop.hdfs.qjournal.protocolPB.QJournalProtocolServerSideTranslatorPB.getEditLogManifest(QJournalProtocolServerSideTranslatorPB.java:224)        at org.apache.hadoop.hdfs.qjournal.protocol.QJournalProtocolProtos$QJournalProtocolService$2.callBlockingMethod(QJournalProtocolProtos.java:25431)        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)        at java.security.AccessController.doPrivileged(Native Method)        at javax.security.auth.Subject.doAs(Subject.java:396)        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)2017-07-04 19:49:29,058 INFO org.apache.hadoop.ipc.Server: IPC Server handler 0 on 8485, call org.apache.hadoop.hdfs.qjournal.protocol.QJournalProtocol.getEditLogManifest from 192.168.60.121:56100 Call#4 Retry#0org.apache.hadoop.hdfs.qjournal.protocol.JournalNotFormattedException: Journal Storage Directory /opt/hadoop-2.5.1/hdfs/journal/bcmoreservices not formatted        at org.apache.hadoop.hdfs.qjournal.server.Journal.checkFormatted(Journal.java:457)        at org.apache.hadoop.hdfs.qjournal.server.Journal.getEditLogManifest(Journal.java:640)        at org.apache.hadoop.hdfs.qjournal.server.JournalNodeRpcServer.getEditLogManifest(JournalNodeRpcServer.java:185)        at org.apache.hadoop.hdfs.qjournal.protocolPB.QJournalProtocolServerSideTranslatorPB.getEditLogManifest(QJournalProtocolServerSideTranslatorPB.java:224)        at org.apache.hadoop.hdfs.qjournal.protocol.QJournalProtocolProtos$QJournalProtocolService$2.callBlockingMethod(QJournalProtocolProtos.java:25431)        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)        at java.security.AccessController.doPrivileged(Native Method)        at javax.security.auth.Subject.doAs(Subject.java:396)        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)2017-07-04 19:50:29,080 INFO org.apache.hadoop.ipc.Server: IPC Server handler 3 on 8485, call org.apache.hadoop.hdfs.qjournal.protocol.QJournalProtocol.getEditLogManifest from 192.168.60.121:56181 Call#6 Retry#0
阅读全文
0 0
原创粉丝点击