大数据DataNode 硬盘故障导致uuid变化问题处理
来源:互联网 发布:场地租用费淘宝 编辑:程序博客网 时间:2024/05/24 01:39
昨天大数据集群主一台主机硬盘io报错,经过停机维护后检查硬盘io读写正常后,加入集群。发现cloudera页面报错
在查看主机log,发现有快硬盘报错
2017-04-22 10:50:11,976 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /dn9/dfs/dn/in_use.lock acquired by nodename 1178
9@datanode26.wumart.com
2017-04-22 10:50:11,984 WARN org.apache.hadoop.hdfs.server.common.Storage: org.apache.hadoop.hdfs.server.common.InconsistentFSStateE
xception: Directory /dn9/dfs/dn is in an inconsistent state: Root /dn9/dfs/dn: DatanodeUuid=031a3a79-8d18-4ba0-9dcf-6f2850e2b65e, do
es not match 280a0cac-e5d4-497c-baf2-86c3802f3db1 from other StorageDirectory.
2017-04-22 11:12:32,716 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /dn9/dfs/dn/in_use.lock acquired by nodename 1589
1@datanode26.wumart.com
2017-04-22 11:12:32,716 WARN org.apache.hadoop.hdfs.server.common.Storage: org.apache.hadoop.hdfs.server.common.InconsistentFSStateE
xception: Directory /dn9/dfs/dn is in an inconsistent state: Root /dn9/dfs/dn: DatanodeUuid=031a3a79-8d18-4ba0-9dcf-6f2850e2b65e, do
es not match 280a0cac-e5d4-497c-baf2-86c3802f3db1 from other StorageDirectory.
2017-04-22 12:32:32,086 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /dn9/dfs/dn/in_use.lock acquired by nodename 2661
1@datanode26.wumart.com
2017-04-22 12:32:32,087 WARN org.apache.hadoop.hdfs.server.common.Storage: org.apache.hadoop.hdfs.server.common.InconsistentFSStateE
xception: Directory /dn9/dfs/dn is in an inconsistent state: Root /dn9/dfs/dn: DatanodeUuid=031a3a79-8d18-4ba0-9dcf-6f2850e2b65e, do
es not match 280a0cac-e5d4-497c-baf2-86c3802f3db1 from other StorageDirectory.
然后根据报错百度搜索,按照方法该uuid,后正常。
解决DataNode Volume Failures故障
Hadoop集群有一台DataNode节点发生硬件故障,由于后需需要长时间的处理,所以从Cloudera集群中剔除了该节点,在重新将该节点添加到集群时候发现DataNode节点爆DataNode 卷故障阈值警告
二、解决过程2.1、排查故障排查DataNode日志发现如下错误:
发现DataNode在检查文件时候原本的uuid于实际DataNode中的uuid不匹配导致磁盘告警。
2.2、解决故障- 找到/disk0/下面的VERSION文件重新编辑。
- 大数据DataNode 硬盘故障导致uuid变化问题处理
- Datanode节点一块硬盘故障处理
- Datanode故障问题
- datanode节点失联故障处理
- 服务器raid硬盘故障导致数据丢失的数据恢复成功案例
- java日志丢失故障处理导致的死锁问题
- hadoop datanode节点硬盘故障下线及上线方法
- 如何解决Oracle ASM故障导致的数据丢失问题
- 如何解决Oracle ASM故障导致的数据丢失问题
- EVA 4400存储硬盘故障导致的数据丢失应该怎么找回和恢复
- PC服务器硬盘故障处理
- 硬盘故障和数据恢复
- WCF 处理大数据问题
- USE DB导致MySQL大堵塞故障?
- 硬盘故障处理技巧4则
- 硬盘及系统启动故障处理指南
- 处理某客户p570硬盘故障所思
- 硬盘导致的电脑系统蓝屏故障的解决方法
- C模拟实现静态顺序表
- 有关chrome dev的使用
- Windows系统 安装Python扩展包时出现“Misrosoft Visual C++ 9.0 is required / Unable to find vcvarsall.bat”的解决办法
- Android项目中集成React Native
- 解决Android手机USB调试是灰色的问题
- 大数据DataNode 硬盘故障导致uuid变化问题处理
- 最大子段和
- java基础总结07-面向对象3(this关键字)
- JAVA基本类型运算面试必须要知道的几个问题
- nginx 配置多域名 及 tomcat 负载均衡 一
- Redis的主从架构(主从&主从从)
- SVN 1.安装与使用
- 实现apk的下载安装与启动
- 一张图说明Unity3d各种update的区别_包括Awake() Start()