hbase修复.META.表与HDFS文件不一致问题
来源:互联网 发布:php exec 返回值 编辑:程序博客网 时间:2024/05/01 05:13
在实际环境中遇到hbase fbck检查报hdfs数据块与META表信息不一致的错误。表现就是数据写入无法进行。
经过检查,发现在.META.表中对应的一些region块的子列少了regioninfo这一列;同时在hdfs的出错region文件夹下查看发现本来该是.regioninfo的文件夹变成了.tmp文件夹。在网上查了些资料,发现是region做分裂的时候失败,导致regioninfo信息丢失,.META.表就无法记录该region的startkey,endkey等信息。
淘宝发布了两个补丁,来避免这个错误出现。0.90.5版本已经集成了此修改。HBASE-4562,HBASE-4563
但是对于已经发生的错误,如何恢复集群正常使用。有两种方案:
1、移除异常数据(较容易)
1)首先,将hdfs上那些不一致的数据库进行删除,或者mv到别的位置
2)对应的region信息在META表中进行删除
3)使用hbase merge命令修补删除数据形成的空洞
最后这一步是引用别人的blog,在此贴出链接:http://blog.csdn.net/a221133/article/details/7085257
2、恢复数据(社区正在开发中,未有稳定版集成)
后续如果有相关内容会在此篇日志更新,先mark一下- hbase修复.META.表与HDFS文件不一致问题
- hbase修复.META.表与HDFS文件不一致问题
- hbase修复.META.表与HDFS文件不一致问题
- hbase修复.META.表与HDFS文件不一致问题
- hbase meta表修复
- hbase meta表修复
- hbase meta表修复
- HBase meta表数据修复
- HBase变更表名以及meta表修复
- 修复hadoop集群时间与系统时间不一致问题
- HBASE 与 HDFS
- hbase meta表恢复
- 搜索速度问题:本地索引与hdfs平台索引,中文搜索与英文搜索速度不一致
- Hbase 如何更新 HDFS 文件
- HDFS的快照原理和Hbase基于快照的表修复
- HBase与HDFS结合使用
- HBase与RDBMS&HDFS对比
- hbase probuf版本不一致问题的解决
- hbase bulkload
- Fedora14选择默认英文安装的 如何手动下载中文包, 设中文为默认语言??
- Spring学习笔记 关于spring 2.x中dependency-check标签与Spring3中的实现方式
- hbase表结构设计研究(不断更新)
- eclipse报出的错误
- hbase修复.META.表与HDFS文件不一致问题
- CX51 用户手册----MODP2 伪指令
- ios菜鸟之路:textfield隐藏键盘以及点击背景取消键盘
- android View.measure
- 自己写bootloader2 -init.c,基于s3c2440
- 自己动手学TCP/IP--以太网帧
- hbase中region的规划与硬盘配置分析
- 笔记-- vs2008 ,右键转到定义,弹出“未定义符号”
- android屏幕亮度的调整