Hadoop-Block的相关分析
来源:互联网 发布:复合弓换弦数据 编辑:程序博客网 时间:2024/06/04 17:51
1.1 Block
Block是HDFS中的最基本单位是对数据块的抽象,它通过一个final long(blkid)来进行标识。一个Block拥有三个longs,它们分别是block-id 、block length和generation stamp。Block名的格式是”blk”+blkid。通过set和get等方法能够得到关于Block的id、name、len等信息。
static final long GRANDFATHER_GENERATION_STAMP = 0; 产生一个块的标记来预先说明要产生的STAMP。
GenerationStamp也是HDFS的一个基本元素,也是通过一个long来进行标识的。GenerationStamp作用的猜想:当两个块进行比较的时候,当它们的hashcode相同时,便用GenerationStamp进行比较。当然blkid是不可变的,而当Block的数据增长或者减少的时候,其GenerationStamp就会发生变化(加1??)。
一个Block对应着两个文件,其中一个存数据,一个存放元数据信息。它的元数据信息文件的格式如下:”blk_”+blkid+”_”+version.meta
和Block相关的类如下所示:
1.2 BlockCommand
此类定义了一个对DataNode下的Block操作的一个指令集,它的主要作用是告诉DataNode所指定的一系列块是不可用的或者把这这些块复制到别的DataNode上去。
1.3 BlockListAsLongs
这个类提供了一个接口用来通过long[]来访问块的列表。
1.4 BlockMetadataHeader
此类用来管理DataNode数据块的元数据。一个Block的元数据的最主要部分就是它的CRC数据效验它占了5个字节。而它的版本号占了两个字节。
1.5 BlockMetaDataInfo
这个类是Block的一个子类,保存了一个块的元数据信息。
1.6 BlocksMap
这个类保存了从一个块到它的元数据的映射,一个块的元数据通常包括它的INode和保存这个块的DataNode。
BlockInfo是BlocksMap中的一个内部类,它继承了Block,所以完全就可以把BlockInfo看作成一个Block。BlockInfo类中有一个triplets数组,其中triplets[3*i]指向了它的DatanodeDescriptor,而triplets[3*i+1]和triplets[3*i+2]分别是前一个和后一个块的引用。
this.triplets = new Object[3*replication]; //其中的replication一般由INode中的getReplication()方法得到,replication是这个Block的复制因子。
从源代码private int ensureCapacity(int num)可以看出triplets的大小是可以改变的,同时从这段方法的注释中可以看到,triplets的空间的增加仅仅发生在用户手动的调整复制因子时发生。
对于triplets中的引用指向问题如添加、删除等等,基本上和双向链表的操作方法是相同的。当然添加和删除操作的triplets的DatanodeDescriptor都是一个同一个Datanode。
BlockMap的另外一个内部类是NodeIterator,它实现了Blockinfo的一个遍历器。不支持remove。
问题1:这些Block为什么要使用一种链式结构,它有什么意义呢??
问题的解答,当NameNode向Datanode发出一个report时,它会产生一个分隔符,把有效的块和无效的块标记起来
一个DataNode上的Block链式结构如下所示:
1.7 BlocksWithLocations
这个类主要实现了一个BlockLocations的数组,它提供了有效的定制化的序列化和反序列化的方法,代替了由RPC提供的数组序列化方式。其中的getDatanodes()方法的返回值为datanodeIDs,这就能表明这个Block所在的Datanode的位置。
- Hadoop-Block的相关分析
- Hadoop的block块深入分析
- Hadoop-INode的相关分析
- hadoop关于block方面的相关总结【转】
- Hadoop-DataNode的相关分析(1)
- Block的详细分析
- Hadoop相关启动脚本分析
- Hadoop相关的考题
- Hadoop相关的考题
- BLOCK相关
- block相关
- hadoop命令 - 查看文件的block size
- Hadoop的map、block、split关系
- hadoop源代码分析——block管理(一)
- hadoop block源代码分析DataNode部分(一)
- Hadoop处理跨block行源码分析记录
- Hadoop RPC 源码分析- 相关类图
- iOS block的相关知识详解
- 超文本传输协议-HTTP
- springside acegi
- Linux Patch的使用方法
- Windows Mobile 6将分为三种版本
- asp.net控件开发基础系列
- Hadoop-Block的相关分析
- !JAVA学习提高之---- JAVA日期格式化及相关操作
- 字符串读写函数fgets和fputs
- ★ 使用索引的误区之四:空值对索引的影响
- 一个人的抗战(三)
- 签证:2012年实现不再“一票难求”
- 数据库索引白话篇
- 苍蝇叫,一切如故。猫叫,老鼠逃跑,主人惊醒。
- 如何把2440 5.0BSP的红外串口改成普通串口?