hadoop 中 HDFS 由于多次格式化引起的 nanenode 与 datanode 启动异常
来源:互联网 发布:c语言程序代码大全 编辑:程序博客网 时间:2024/05/17 03:15
- 问题介绍
- 1 发现问题
- 解决问题
- 注意
1.问题介绍
刚开始是由于启动 Hbase 时 HMaster 进程总是出现几秒种后便消失,虽然主机的 namenode 和 slave 的datanode 进程中由显示,但当查看他们的日志时仍然看到了如下错误。
(/usr/local/cluster/hadoop/logs/hadoop-hadoop2-nanenode-out.log 文件)
(由于特殊原因,此图不全或者不对,仅供参考)
(/usr/local/cluster/hadoop/logs/hadoop-hadoop2-datanode-out.log)
1.1 发现问题
从上图发现很有可能是由于多次 namenode format 会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,所以造成namenode节点上的namespaceID与datanode节点上的namespaceID不一致。启动失败。
2.解决问题
1.按顺序关闭集群,关闭不了的直接 kill 掉
2.删除 hdfs 配置文件所产生的目录文件,其大致有以下两种:
(以下依据自己的配置而定)
master 上
1.删除/usr/local/cluster/data/namenode 中的所有文件slave上
1.删除/usr/local/cluster/data/datanode 中的所有的文件
2./usr/local/cluster/data/journal 中的文件- 重新启动集群即可
3.注意
这种方法带来的一个副作用即是,hdfs上的所有数据丢失。如果hdfs上存放有重要数据的时候,不建议采用该方法。
- hadoop 中 HDFS 由于多次格式化引起的 nanenode 与 datanode 启动异常
- hdfs多次格式化后,datanode启动不了
- Hadoop多次格式化导致datanode无法启动
- hadoop多次格式化后,导致datanode启动不了
- hadoop多次格式化后,导致datanode启动不了
- hadoop多次格式化namenode造成datanode无法启动问题解决
- hadoop多次格式化namenode造成datanode无法启动问题解决
- Hadoop 在重启或者多次格式化后无法启动datanode问题的解决
- hadoop多次格式化后出现datanode无法正常启动的解决办法
- hadoop多次格式化后导致VERSION不一致,启动namenode和datanode时报错的解决方法
- 多次格式化namenode,datanode无法启动的解决办法
- Hadoop Hdfs DataNode 启动失败
- Hadoop中启动hdfs时DataNode没有启动
- hadoop启动datanode的一个异常处理
- 多次格式化后,datanode无法启动
- 多次格式化namenode之后datanode无法启动
- 多次格式化namenode之后datanode无法启动
- hadoop里的hdfs datanode 不能启动的问题
- View 样式(背景色、圆角、描边、等等)
- 在android中gif的效果和渐变效果
- Spring入门第二个例子
- 224,GCD多线程
- 如何分析解决Android ANR
- hadoop 中 HDFS 由于多次格式化引起的 nanenode 与 datanode 启动异常
- java注解annotation的解释
- Android开发学习总结(一)——搭建最新版本的Android开发环境
- 个人主页
- 表的分段
- iOS使用ionic实现混合式开发
- Return objects to enable chaining of functions
- 算法导论第三版习题5.1
- SimpleDateFormat线程安全的问题