Hadoop入门之NameNode中元数据的容灾

这里用到了很多系统里都用的东西就是日志:

1.每次操作NameNode都会记录相应的操作日志,即为edits_xxxxx,过段时间后日志会进行滚动.

2.secondary NameNode 从Namenode中拉取要更新的edits_xxxxx到本地(此时会滚动一次日志)

3.将相应的日志和fsimage加载到内存中进行合并操作

4.将合并后内存中的数据dump成fsimage.checkpoint

5.将最新的fsimage.checkpoint传输到NameNode替换其fsiamge

6.完成元数据的备份更新工作


最后附录一个上传日志到HDFS的脚本,纯属纪录下,这个脚本还有要修改的地方.
链接：http://pan.baidu.com/s/1sl6Yp0x 密码：40kb