第4章 字典

来源:互联网 发布:2015淘宝刷钻价格表 编辑:程序博客网 时间:2024/05/20 08:00

又称符号表、关联数组或映射,用于保存键值对的抽象数据结构。

Redis的数据库的底层实现。

1. 字典的实现

使用哈希表作为底层实现。

1.1 哈希表

dict.h/dictht结构定义

/* * 哈希表 */typedef struct dictht {    // 哈希表节点指针数组(俗称桶,bucket)    dictEntry **table;          // 指针数组的大小    unsigned long size;         // 指针数组的长度掩码,用于计算索引值    unsigned long sizemask;     // 哈希表现有的节点数量    unsigned long used;     } dictht;

table数组中的每个元素都是一个指向dict.h/dictEntry(保存着一个键值对)结构


1.2 哈希表节点

使用dictEntry结构表示

/* * 哈希表节点 */typedef struct dictEntry {    // 键    void *key;    // 值    union {        void *val;        uint64_t u64;        int64_t s64;    } v;    // 链往后继节点,可以将多个哈希值相同的键值对链接在一起,以此来解决键冲突的问题    struct dictEntry *next; } dictEntry;


1.3 字典

dict.h/dict结构

/* * 字典 * * 每个字典使用两个哈希表,用于实现渐进式 rehash */typedef struct dict {    // 特定于类型的处理函数    dictType *type;    // 类型处理函数的私有数据,保存了需要传给那些类型特定函数的可选参数。    void *privdata;    // 哈希表(2个) 字典只使用ht[0],ht[1]只会在对ht[0]哈希表进行rehash时使用。    dictht ht[2];           // 记录 rehash 进度的标志,值为-1 表示 rehash 未进行    int rehashidx;    // 当前正在运作的安全迭代器数量    int iterators;      } dict;

2. 哈希算法

先根据键值对的键计算出哈希值和索引值,然后根据索引值,将包含新键值对的哈希表节点放到哈希表数组的指定索引上。


#使用字典设置的哈希函数,计算键key的哈希值

hash=dict->type-hashFunction(key);


#使用哈希表的sizemask属性和哈希值,计算出索引值

#根据情况不同,ht[x]可以是ht[0]或者ht[1]

index=hash& dict-ht[x].sizemask;



当字典被用作数据库的底层实现,或者哈希键的底层实现时,Redis使用MurmurHash算法来计算键的哈希值。


3. 解决键冲突

链地址法,

链表的表头插入


4. rehash

通过执行rehash操作扩展和收缩哈希表


  • 为字典的ht[1]哈希表分配空间,这个哈希表的空间大小取决于要执行的操作,以及ht[0]当前包含的键值对的数量
如果执行的是扩展操作,那么ht[1]的大小为第一个大于等于ht[0].used*2的2^n
如果执行的是收缩操作,那么ht[1]的大小为第一个大于等于ht[0].used的2^n
  • 将保存在ht[0]中的所有键值对rehash到ht[1]上面:
  • 当ht[0]包含的所有键值对都迁移到ht[1]之后,释放ht[0],将ht[1]设置为ht[0],并在ht[1]新创建一个空白哈希表,为下一次rehash做准备


哈希表的扩展于收缩

当以下条件中的任意一个被满足时,程序会自动开始对哈希表进行扩展操作:

  1. 服务器目前没有在执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子大于等于1
  2. 服务器目前正在执行BGSAVE命令或者BGREWITEAOF命令,并且哈希表的负载因子大于等于5

当哈希表的负载因子小于0.1时,程序自动开始对哈希表执行收缩操作


5. 渐进式rehash

这个rehash动作并不是一次性,集中式地完成的,而是分多次、渐进式的地完成的


以下是哈希表渐进式rehash的步骤:

  1. 为ht[1]分配空间,让字典同时持有ht[0]和ht[1]两个哈希表
  2. 在字典中维持一个索引计数器变量rehashidx,并将它的值设置为0,表示rehash工作正式开始。
  3. 在rehash进行期间,每次对字典执行添加、删除、查找或者更新操作时,程序除了执行指定的操作以外,还会顺带将ht[0]哈希表在rehashidx索引上的所有键值对rehash到ht[1],当rehash工作完成之后,程序将rehashidx属性值增一
  4. 随着字典操作的不断执行,最终在某个时间点上,ht[0]的所有键值对都会被rehash至ht[1],这时程序将rehashidx属性的值设为-1,表示rehash操作已完成。

6. 字典API

dictCreate

dictAdd 键值对添加到字典里面

dictReplace 添加键值对,如果已经存在,用新值取代原有的值

dictFetchValue

dictGetRandomKey

dictDelete

dictRelease


0 0