Redis 探究底层存储结构

我们都知道Redis有五种数据类型，分别是字符串String，列表List，集合Sort，有序集合Sorted Set和散列表Hash，这些其实是Redis封装好的数据类型，Redis底层是用C语言编写的（大法好），所以用这边博客记录下这五种数据结构的底层是如何实现的。

字符串类型

C语言中字符串都是采用字符数组char[]来实现的，在Redis中是将字符数组封装成一个SDS结构体[Simple Dynamic String]，SDS也是Redis的最小存储单元。

我们打开src目录下的sds.h文件

typedef char *sds;/* Note: sdshdr5 is never used, we just access the flags byte directly. * However is here to document the layout of type 5 SDS strings. */struct __attribute__ ((__packed__)) sdshdr5 {    unsigned char flags; /* 3 lsb of type, and 5 msb of string length */    char buf[];};struct __attribute__ ((__packed__)) sdshdr8 {    uint8_t len; /* used */    uint8_t alloc; /* excluding the header and null terminator */    unsigned char flags; /* 3 lsb of type, 5 unused bits */    char buf[];};struct __attribute__ ((__packed__)) sdshdr16 {    uint16_t len; /* used */    uint16_t alloc; /* excluding the header and null terminator */    unsigned char flags; /* 3 lsb of type, 5 unused bits */    char buf[];};struct __attribute__ ((__packed__)) sdshdr32 {    uint32_t len; /* used */    uint32_t alloc; /* excluding the header and null terminator */    unsigned char flags; /* 3 lsb of type, 5 unused bits */    char buf[];};struct __attribute__ ((__packed__)) sdshdr64 {    uint64_t len; /* used */    uint64_t alloc; /* excluding the header and null terminator */    unsigned char flags; /* 3 lsb of type, 5 unused bits */    char buf[];};

可以看到分别有8位，16位，32位和64位的sds，他们的内部结构大致都是相同的

• len 记录char[] buf字符数组的长度
• alloc 除去头部和终止符所占的长度
• flags 三种类型 下面会详细说
• buf[] 字符数组

然而仅仅使用封装的字符数组SDS并不能表示所有的五大类型，因此Redis在此之上继续进行封装，所以也就有了下面的RedisObject对象

在server.h中找到了redisObject结构体

#define LRU_BITS 24#define LRU_CLOCK_MAX ((1<<LRU_BITS)-1) /* Max value of obj->lru */#define LRU_CLOCK_RESOLUTION 1000 /* LRU clock resolution in ms */#define OBJ_SHARED_REFCOUNT INT_MAXtypedef struct redisObject {    unsigned type:4;    unsigned encoding:4;    unsigned lru:LRU_BITS; /* LRU time (relative to global lru_clock) or                            * LFU data (least significant 8 bits frequency                            * and most significant 16 bits decreas time). */    int refcount;    void *ptr;} robj;

可以看到封装的几个属性

• type 表示redisObject是哪种类型
  
  • #define REDIS_STRING 0
  • #define REDIS_LIST 1
  • #define REDIS_SET 2
  • #define REDIS_ZSET 3
  • #define REDIS_HASH 4
• *ptr 指针类型 指向的就是SDS类型

因此当我们运行下面的命令

127.0.0.1:6379> set name heqianqianOK127.0.0.1:6379> get name"heqianqian"

存储了一个name=”heqianqian”的字符串，这里实际创建了两个redisObject对象，类型都是REDIS_STRING类型，底层的SDS保存的分别就是”name”和”heqianqian”两个字符串了。
一般键都是字符串类型，而值的话就可以有五种类型了

列表类型

Redis的List有点像双端队列，两头都可进可出

看一下adlist.h中是如何定义的

typedef struct listNode {    struct listNode *prev;    struct listNode *next;    void *value;} listNode;typedef struct list {    listNode *head;    listNode *tail;    void *(*dup)(void *ptr);    void (*free)(void *ptr);    int (*match)(void *ptr, void *key);    unsigned long len;} list;

• listNode:有一个前驱节点和一个后继节点，还有一个value指针指向SDS类型
• list
  
  • tail：存放尾节点
  • head：存放头节点
  • len：列表长度
    有这三个属性的话，操作表头表尾和统计长度的时间复杂度都可以是O(1)了

哈希类型

打开dict.h源码

typedef struct dict {    dictType *type;    void *privdata;    dictht ht[2];    long rehashidx; /* rehashing not in progress if rehashidx == -1 */    unsigned long iterators; /* number of iterators currently running */} dict;

哈希的底层结构，有五个属性

• dictType

typedef struct dictType {    uint64_t (*hashFunction)(const void *key);    void *(*keyDup)(void *privdata, const void *key);    void *(*valDup)(void *privdata, const void *obj);    int (*keyCompare)(void *privdata, const void *key1, const void *key2);    void (*keyDestructor)(void *privdata, void *key);    void (*valDestructor)(void *privdata, void *obj);} dictType;

• dictht ht[2]

/* This is our hash table structure. Every dictionary has two of this as we * implement incremental rehashing, for the old to the new table. */typedef struct dictht {    dictEntry **table;    unsigned long size;    unsigned long sizemask;    unsigned long used;} dictht;

根据注释可以看到是用来表示哈希扩容的，至于这个属性为啥是个两个元素的数组，是因此哈希扩容可以有一次性扩容和渐进性扩容，所谓的渐进性扩容就是扩容的同时不影响前端的CURD，我慢慢的把数据从ht[0]转移到ht[1]中，同时rehashindex来记录转移的情况，当全部转移完成之后，将ht[1]改成ht[0]使用

dictht里也有四个属性

• size：数组大小
• sizemask：用来进行数组取模
• used：记录已使用大小
• dictEntry

dictEntry的结构如下

typedef struct dictEntry {    void *key;    union {        void *val;        uint64_t u64;        int64_t s64;        double d;    } v;    struct dictEntry *next;} dictEntry;

有三个属性
key对应哈希表中的键，value对应哈希表中的值。next指针就是使用链表解决哈希冲突

因此哈希结构大概如下所示

//TODO 待完善

---