HBase 之 TableDescriptors FSTableDescriptors HTableDescriptor HColumnDescriptor

来源:互联网 发布:python 中文注释 编辑:程序博客网 时间:2024/05/01 16:21

1、 HColumnDescriptor  描述列族的属性信息,我们看一些那些属性可以设置


具体讲一下每个属性的意义

BlockSize   写storefile/hfile的时候最小存储单元blok的大小、默认64k ,此Block 不同于hdfs Block的概念不要混淆

compressionType  压缩类型、主要有LZO  SNAPPY 

EncodeOnDisk 设置是否在除了cache外硬盘上做encode

DataBlockEncoding  提供访问data block的编码算法 ,主要有 FAST    FAST_DIFF   PREFIX 

CompactionCompression  对于列族major_compaction 的压缩类型、同 compressionType

InMemory   当某些family特别重要时,可以将它的in-memory设为true,单独使用一个缓存队列,保证cache的优先使用 (这个后续在缓存中讲解)

KeepDeletedCell ?

TimeToLive [TTL]  cell 存活时间

MinVersions  最小版本数

BlockCacheEnabled  是否允许blockCache

BloomFilterType 设置BloomFilter的类型, 主要有None \ Row \  RowCol

Scope 主要是关于 replication的设置

CacheDataOnWrite  设置写的时候 cache  data blocks

CacheIndexesOnWrite  设置写的时候 cache  index blocks

CacheBloomsOnWrite   设置写得时候 cache  bloom (bloom filter)

EvictBlocksOnClose  当 block关闭的时候、是否清楚cached blocks



接下来看一下HTableDescriptor



这个就简单多了、 

Readonly 就是表只读

MaxFileSize 是指region中某个StoreFile超过了该值就进行分裂,但是也不是绝对的,比如一行数据已经超了阀值就不会去分裂

MemStoreFlushSize  对于每一个Region   memstore大小阀值,超过则写入系统文件。   配置文件中的memtore size是列族级别的


FSTableDescriptors  读取FS 上的 table descriptor

表的元数据信息在表的目录下面,命名格式为  .tableinfo+sequenceid

主要是对HTableDescripor 进行增删改查等操作,是FileSystem 和 表之间的一个桥梁






0 0