查看修复HDFS中丢失的块
来源:互联网 发布:遗传算法 等位基因 编辑:程序博客网 时间:2024/04/27 23:05
查看修复HDFS中丢失的块
检测缺失块
1 hdfs fsck -list-corruptfileblocks
1 hdfs fsck / | egrep -v '^\.+$' | grep -v eplica
查看上面某一个文件的情况
1 hdfs fsck /path/to/corrupt/file -locations -blocks -files
解决方法
- 如果文件不重要,可以直接删除此文件;或删除后重新复制一份到集群中
- 如果不能删除,需要从上面命令中找到发生在哪台机器上,然后到此机器上查看日志。
参考
- http://centoshowtos.org/hadoop/fix-corrupt-blocks-on-hdfs/
- http://stackoverflow.com/questions/19205057/how-to-fix-corrupt-hadoop-hdfs
0 0
- 查看修复HDFS中丢失的块
- 查看修复HDFS中丢失的块
- Hdfs 数据块丢失处理
- hdfs块丢失导致的异常问题排查解决
- 处理hdfs上错误的block块并修复
- Hadoop原理---HDFS中块的概念
- 修复丢失的pv
- hdfs fsck命令查看HDFS文件对应的文件块信息(Block)和位置信息
- hdfs fsck命令查看HDFS文件对应的文件块信息(Block)和位置信息
- 异常断电导致HDFS文件块丢失,影响HBASE数据的问题处理
- hdfs 查看文件分布所属块
- grub丢失的修复方法
- linux修复丢失的分区表
- 查看HDFS中LZO压缩文件内容的脚本
- 修复.NET中通过HttpWebRequest 中GET 方法丢失Cookie的bug
- hdfs中修改文件块大小方法
- HDFS中block块大小设置问题
- 修复VS2005丢失的系统模板
- Android 消息处理机制(Looper、Handler、MessageQueue,Message)
- 必须添加对程序集“EntityFramework, Version=5.0.0.0, Culture=neutral, PublicKeyToken=b77a5c561934e089”的引用。
- 矩阵旋转90度
- 几个小技巧,完美你的大学生活
- Tomcat下载、安装以及配置
- 查看修复HDFS中丢失的块
- Android 动画学习(一)
- 用fstream打开含中文路径文件时失败的问题。
- java web 高并发处理
- 也许是最好的Git入门指南
- python ndarray image process
- adb操作命令详解及大全
- ORA-01034 Oracle not available和ORA-27101 shared memory realm does not exist 解决思路
- VS2010配置OpenCV2.4.7出现fatal error LNK1104:无法打开文件kernel32.lib的解决方法