HDFS快照特性基础
来源:互联网 发布:喝大麦若叶排毒知乎 编辑:程序博客网 时间:2024/04/30 23:56
转一篇团队成员 塔瑞尔 的博客,对HDFS快照特性的调研总结。
博客原文:http://blog.csdn.net/linlinv3/article/details/44622203
==========================================================================================
通过snapshot实现 hdfs上文件的备份
api地址请见http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.5.0-cdh5.2.0/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html
==========================================================================================
1、允许创建快照
首先,在你想要进行备份的文件夹下面 执行命令,允许该文件夹创建快照
hdfs dfsadmin -allowSnapshot <path>
例如:hdfs dfsadmin -allowSnapshot /Workspace/linlin
出现此命令证明已经允许创建快照成功
=================================================================================================
2、创建快照
接下来就开始对此文件夹进行备份
hdfs dfs -createSnapshot <path> [name]
例如 hdfs dfs -createSnapshot /Workspace/linlin bak1
此命令出现证明已经创建快照成功
此时我们可以考虑一下是否能够在linlin子目录创建快照
hdfs'上目录结构如图所示
然后尝试在snaptest上建立快照
hdfs dfs -createSnapshot /Workspace/linlin/snaptest bak2
报错,可见,只能在你允许的目录下面建立快照;
第一次快照 bak1 时候 没有snaptest文件夹,现在多了snaptest文件夹,再创建一次快照
若还是用
hdfs dfs -createSnapshot /Workspace/linlin bak1
执行 hdfs dfs -createSnapshot /Workspace/linlin bak2
创建成功;
==============================================================================================================
3、查看快照
查看所有的snapshottable
hdfs lsSnapshottableDir查看到曾经允许创建快照的所有目录查看当前快照下的文件 hadoop sanpshot 创建快照时候,默认的文件夹是.snapshot 查看时候必须加上.snapshot才能看到里面备份的东西;.snapshot是后来hadoop才有的产物,所以之前若是有文件夹命名为snapshot关键字就不能创建快照了;执行命令 hdfs dfs -ls /Workspace/linlin/.snapshot/
能够看到 这个快照下 有三个备份 分别是 bak1 、bak2 、 linlin
===========================================================================================================
4、对比快照
进行快照之间的对比,看到两个快照之间备份文件的区别
执行命令
hdfs snapshotDiff <path> <fromSnapshot> <toSnapshot>
例如:执行命令 hdfs snapshotDiff /Workspace/linlin bak1 bak2
结果 Results:+The file/directory has been created.-The file/directory has been deleted.MThe file/directory has been modified.RThe file/directory has been renamed.
这里出现M 代表我对linlin文件夹进行了修改,+代表新增了一个文件夹 snaptest
============================================================================================================================
5、恢复快照
恢复快照:
hdfs dfs -cp <path> <path>
例如: hdfs dfs -cp /Workspace/linlin/.snapshot/bak2/snaptest /Workspace查看hdfs目录:
已经成功恢复到 Workspace==================================================================================================================================题外话:我们可以尝试着删除建立过快照的文件夹:是无法删除的,会提示存在快照无法删,证明若是在文件夹下面建立快照,文件夹就无法删除或者移动
- HDFS快照特性基础
- HDFS快照
- HDFS快照(HDFS Snapshots)
- HDFS快照管理
- hdfs快照备份恢复
- ES HDFS快照手册
- HDFS的快照管理
- 02_note_分布式文件系统HDFS基本操作与特性,HDFS API编程示例;2.x下HDFS新特性,高可用,联邦,快照
- hadoop2.x HDFS快照介绍
- hdfs之快照的学习
- HDFS创建快照备份数据
- libvirt/qemu特性之快照
- libvirt/qemu特性之快照
- libvirt/qemu特性之快照
- libvirt/qemu特性之快照
- Hadoop-2.4.1学习之HDFS快照
- 云计算(十一)- HDFS快照(HDFS Snapshots)
- 云计算(十一)- HDFS快照(HDFS Snapshots)
- 网络编程练习-TCP socket
- 市区级联下拉菜单
- 【有奖评价】CSDN学院课程好不好你说了算!——学院“课评”有礼啦!你说感受,我来送礼!
- 欧盟把肥胖视为残疾
- Hello world!
- HDFS快照特性基础
- js一个简单的全选功能
- 所有Blog列表+相应链接
- Android适配器
- UIView 简介(六)视图几何结构和坐标系统 包括frame, bounds和center属性之间的关系
- 一架空客320飞机在法国坠毁 机上150人无人生还
- mysql数据库中的正则表达式查询
- Good material for understanding linux memory management
- JavaFX 8u40新控件 - Spinner