HDFS Datanode数据存储格式分析
来源:互联网 发布:mac右键手势 编辑:程序博客网 时间:2024/05/31 06:23
首先在Datanode中,每一个block都对应一个数据存储文件,数据存储文件以_blk开头;同时,每一个block还对应一个元数据文件,元数据文件以.meta结尾(注意:meta file的命名格式如下blokcFileName_generationStamp.meta)。
首先将一下我理解的几个概念。在HDFS中有storage的概念,每一个节点对应一个storage。我们可以理解为一个Datanode是一个storage,一个Namenode也是一个storage。一个storage可以对应于多个存储目录(按照我的理解,不同的存储目录应该是对应于不同的硬盘或者存储装置)。在Datanode中代表实际数据存储的是FSDataset。FSDataset由多个FSVolume组成。每一个FSVolume对应于storage中一个存储目录(相当于一个FSVolume对应于一个硬盘)。最终,由FSVolume进行数据的存储。每个FSVolume包含了几个文件夹,包括dataDir(用来保存blocks和meta file)、tmpDir(临时文件夹)、detachDir(copy on write for blocks in snapshot,在写block时,在detachDir中保存一个备份,以便进行数据恢复)。
0 0
- HDFS Datanode数据存储格式分析
- HDFS Datanode数据存储格式分析
- HDFS Datanode数据存储格式分析
- HDFS datanode源码分析
- HDFS之DataNode启动过程分析
- HDFS源码分析(5):datanode数据块的读与写DataXceiver
- Hadoop-2.4.1源码分析--HDFS HeartBeat(心跳检测)之DataNode端数据块增量汇报
- hadoop源码解析之hdfs写数据全流程分析---datanode处理
- HDFS中DataNode获取数据函数
- HDFS-datanode数据块部分笔记
- HDFS-DataNode
- hadoop2之HDFS分析:Client与DataNode流程分析
- Hadoop2源码分析-HDFS datanode核心模块分析
- 【Hadoop】数据存储----HDFS
- distcp导致个别datanode节点数据存储严重不均衡分析
- HDFS源码分析心跳汇报之DataNode注册
- DataNode本地数据存储和管理
- HDFS,数据块,NameNode&DataNode概念及一些原理
- MongoDB集群(二) 副本集
- cocos2dx 2.1.4 shader解析3 - cocos2dx自带的shader分析
- 博客学习五——hadoop
- 错误集锦6--svn commit 提示Aborting commit 失败问题解决办法
- 更改用Eclipse编写Java EE工程的class 文件存放位置
- HDFS Datanode数据存储格式分析
- 单例、观察者、代理、备忘录、工厂
- int? 可空类型
- lucene对数据库建立索引
- 【剑指offer】Q41:和为s的连续正数序列
- Oracle查询一个表中有多少个字段
- CocoaPods安装和使用教程
- VI命令使用(查找替换)
- Ubuntu12.04下在Android4.0.4源码下载及其编译过程