HDFS block丢失过多进入安全模式(safe mode)的解决方法
来源:互联网 发布:swiper.jquery.min.js 编辑:程序博客网 时间:2024/06/05 18:22
HDFS block丢失过多进入安全模式(Safe mode)的解决方法
背景及现象描述(Background and Symptom)
因磁盘空间不足,内存不足,系统掉电等其他原因导致dataNode datablock丢失,出现如下类似日志:
The number of live datanodes 3 has reached the minimum number 0.
Safe mode will be turned off automatically once the thresholds have been reached.
Caused by: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Log not rolled.
Name node is in safe mode.
The reported blocks 632758 needs additional 5114 blocks to reach the threshold 0.9990
of total blocks 638510.
The number of live datanodes 3 has reached the minimum number 0.
Safe mode will be turned off automatically once the thresholds have been reached.
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode
(FSNamesystem.java:1209)
... 12 more
原因分析(Cause Analysis)*
由于系统断电,内存不足等原因导致dataNode丢失超过设置的丢失百分比,系统自动进入安全模式
解决办法(Solution)*
安装HDFS客户端,并执行如下命令:
步骤 1 执行命令退出安全模式:hadoop dfsadmin -safemode leave
步骤 2 执行健康检查,删除损坏掉的block。 hdfs fsck / -delete
注意: 这种方式会出现数据丢失,损坏的block会被删掉
- HDFS block丢失过多进入安全模式(safe mode)的解决方法
- HDFS block丢失过多进入安全模式(safe mode)的解决方法
- HDFS block丢失过多进入安全模式(safe mode)的解决方法
- 因为HDFS block丢失hadoop进入安全模式(Safe mode)的解决方法
- iphone 进入安全模式 怎么解决?exit safe mode解决方法
- android的SAFE MODE(安全模式)
- 开关Hadoop的NameNode安全模式(Safe Mode)
- HDFS错误Name node is in safe mode的解决方法
- hadoop从本地复制文件到hdfs上发生错误Name node is in safe mode的解决方法
- Name node is in safe mode 解除安全模式
- Hadoop 解除 安全模式、"Name node is in safe mode"
- HDFS的安全模式
- HDFS的安全模式
- hdfs的安全模式
- HDFS的安全模式
- word打不开,总提示进入安全模式 的解决方法
- 打开word文档总提示进入安全模式的解决方法
- 错误Name node is in safe mode的解决方法
- php 实现批量的下载pdf (使用filedownload)
- 一般IT部门职能有两种模式:管办分离模式和管办合一模式
- mysql 查询当天、本周,本月,上一个月的数据...
- Effective C++之五:实现
- byte转换至16进制字符串_计算机原/反/补码
- HDFS block丢失过多进入安全模式(safe mode)的解决方法
- python调度框架APScheduler基本使用
- 阻塞queue系列之LinkedTransferQueue
- 传参带事务的存储过程
- JAVA默认的get,set方法一个小坑
- Gradle学习(四)——Gradle守护进程
- shell编程排坑之if
- springcloud实战之13 rabbitmq消息总线(bus)
- 关于ionic2 http请求问题