Hadoop根据SecondaryNameNode恢复NameNode

来源:互联网 发布:java json双引号转义 编辑:程序博客网 时间:2024/06/05 02:14

1.制造NameNode宕机的情况

1.1):kill 掉NameNode的进程

[plain] view plain copy
  1. [hadoop@hadoop bin]$ kill -9 13481  

1.2):删除dfs.name.dir所指向的文件夹,这里是/home/hadoop/hdfs/name

[plain] view plain copy
  1. current  image  in_use.lock  previous.checkpoint  
  2. [hadoop@hadoop name]$ rm -rf *  
注:是删除name目录下的所有内容,但是必须保证name这个目录是存在的。

1.3):从SecondaryNameNode元数据namesecondary目录下复制到NameNode name目录下。

我的Secondary NameNode目录:

[plain] view plain copy
  1. /home/hadoop/tmp/dfs/namesecondary  
复制过程:

[plain] view plain copy
  1. [hadoop@hadoop name]$ cp -R /home/hadoop/tmp/dfs/namesecondary/* .  
1.4):启动NameNode

[plain] view plain copy
  1. [hadoop@hadoop bin]$ ./hadoop-daemon.sh start namenode  

1.5):检查

使用hadoop fsck /user命令减产文件爱你Block的完整性

[plain] view plain copy
  1. <font size="2">[hadoop@hadoop bin]$ hadoop fsck /</font>  
  2. Warning: $HADOOP_HOME is deprecated.  
  3.   
  4. FSCK started by hadoop from /192.168.0.101 for path / at Sun Dec 22 23:04:31 CST 2013  
  5. ...................................  
  6. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222119_0001/job.jar:  Under replicated blk_-8571652065964704775_1020. Target Replicas is 10 but found 1 replica(s).  
  7. .  
  8. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222119_0002/job.jar:  Under replicated blk_-5947701456602696019_1021. Target Replicas is 10 but found 1 replica(s).  
  9. .  
  10. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222119_0003/job.jar:  Under replicated blk_8214183112681524571_1022. Target Replicas is 10 but found 1 replica(s).  
  11. .  
  12. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0001/job.jar:  Under replicated blk_4805420250921446015_1024. Target Replicas is 10 but found 1 replica(s).  
  13. .  
  14. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0002/job.jar:  Under replicated blk_7913185784171356584_1027. Target Replicas is 10 but found 1 replica(s).  
  15. .  
  16. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0004/job.jar:  Under replicated blk_-8411847042533891069_1035. Target Replicas is 10 but found 1 replica(s).  
  17. .  
  18. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0005/job.jar:  Under replicated blk_2163772543235273521_1036. Target Replicas is 10 but found 1 replica(s).  
  19. .  
  20. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310222142_0007/job.jar:  Under replicated blk_-3491660194168043022_1044. Target Replicas is 10 but found 1 replica(s).  
  21. .  
  22. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242056_0002/job.jar:  Under replicated blk_5280511346594851641_1270. Target Replicas is 10 but found 1 replica(s).  
  23. .  
  24. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242056_0003/job.jar:  Under replicated blk_5588149584508213931_1271. Target Replicas is 10 but found 1 replica(s).  
  25. .  
  26. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242056_0004/job.jar:  Under replicated blk_-1846184614352398688_1272. Target Replicas is 10 but found 1 replica(s).  
  27. .  
  28. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242056_0005/job.jar:  Under replicated blk_8253537375261552577_1273. Target Replicas is 10 but found 1 replica(s).  
  29. .  
  30. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242100_0001/job.jar:  Under replicated blk_-6858089306760733073_1275. Target Replicas is 10 but found 1 replica(s).  
  31. .  
  32. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242100_0002/job.jar:  Under replicated blk_-630176777256891004_1276. Target Replicas is 10 but found 1 replica(s).  
  33. .  
  34. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242100_0003/job.jar:  Under replicated blk_3453389521553623867_1277. Target Replicas is 10 but found 1 replica(s).  
  35. .  
  36. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242100_0004/job.jar:  Under replicated blk_-4262000880964323956_1278. Target Replicas is 10 but found 1 replica(s).  
  37. .  
  38. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0001/job.jar:  Under replicated blk_-5324801167724976561_1280. Target Replicas is 10 but found 1 replica(s).  
  39. .  
  40. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0002/job.jar:  Under replicated blk_3284342834321881345_1281. Target Replicas is 10 but found 1 replica(s).  
  41. .  
  42. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0004/job.jar:  Under replicated blk_5174401550469241860_1295. Target Replicas is 10 but found 1 replica(s).  
  43. .  
  44. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0009/job.jar:  Under replicated blk_6390129220783606015_1327. Target Replicas is 10 but found 1 replica(s).  
  45. .  
  46. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201310242105_0010/job.jar:  Under replicated blk_8995477665353821346_1328. Target Replicas is 10 but found 1 replica(s).  
  47. .  
  48. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201311292212_0007/job.jar:  Under replicated blk_-6447241034801532571_1699. Target Replicas is 10 but found 1 replica(s).  
  49. .  
  50. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201312082210_0001/job.jar:  Under replicated blk_-187920261151639503_1741. Target Replicas is 10 but found 1 replica(s).  
  51. .  
  52. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201312082210_0002/job.jar:  Under replicated blk_1912732980088631445_1742. Target Replicas is 10 but found 1 replica(s).  
  53. .  
  54. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job_201312092348_0001/job.jar:  Under replicated blk_448639237400606735_1953. Target Replicas is 10 but found 1 replica(s).  
  55. .  
  56. /home/hadoop/tmp/mapred/system/jobtracker.info: CORRUPT block blk_-4973841422235657473  
  57.   
  58. /home/hadoop/tmp/mapred/system/jobtracker.info: MISSING 1 blocks of total size 4 B.Status: CORRUPT  
  59.  Total size:        367257 B  
  60.  Total dirs:        83  
  61.  Total files:        60  
  62.  Total blocks (validated):        57 (avg. block size 6443 B)  
  63.   ********************************  
  64.   CORRUPT FILES:        1  
  65.   MISSING BLOCKS:        1  
  66.   MISSING SIZE:                4 B  
  67.   CORRUPT BLOCKS:         1  
  68.   ********************************  
  69.  Minimally replicated blocks:        56 (98.24561 %)  
  70.  Over-replicated blocks:        0 (0.0 %)  
  71.  Under-replicated blocks:        25 (43.85965 %)  
  72.  Mis-replicated blocks:                0 (0.0 %)  
  73.  Default replication factor:        1  
  74.  Average block replication:        0.98245615  
  75.  Corrupt blocks:                1  
  76.  Missing replicas:                225 (401.7857 %)  
  77.  Number of data-nodes:                1  
  78.  Number of racks:                1  
  79. FSCK ended at Sun Dec 22 23:04:31 CST 2013 in 89 milliseconds  
原创粉丝点击