《Redis源码学习笔记》RDB
来源:互联网 发布:淘宝消保怎么交 编辑:程序博客网 时间:2024/05/17 22:40
http://diaocow.iteye.com/blog/1946444
在主从复制过程中,我们提到过RDB文件,作为Redis持久化方式之一,RDB把数据库某一时刻的内容,也就是快照,以二进制的方式记录到文件,并且在下次启动的时候可以用来初始化Redis;
RDB最重要的两个过程是rdbSave和rdbLoad,下面我就这两个过程分别叙述;
rdbSave
在具体看rdbSave过程之前,我们先看下RDB文件格式:
我们可以简单思考下,RDB文件协议为什么会那样设计?
1. RDB文件以"REDIS"开头是为了区分普通文件,这样redis在加载的时候,读取前五个字节就可以判断该文件是否为一个合法的RDB文件;
2. 写明RDB文件版本是因为不同版本之间有一定差异性,根据版本号需要保持向下兼容;
3. 以数据库为单位,存入键值对,因为一个redis实例中,可以包含16个数据库,所以一定要标明该键值对属于哪个数据库,否则无法还原到相应位置;
4. 在写入键值对信息时,超时时间是可选的,标明值类型(value-type)是为了在加载的时候知道这是一个string,还是list或者hashtable;
rdbSave过程就是把redis每一个数据库中的键值对按照上面定义的格式写入文件,伪代码:
- def rdbSave(filename):
- # 创建临时文件,用于保存rdb数据
- tempFile = createTempFile()
- rio = rioInitWithFile(tempFile)
- # ----------------------------------
- # 1.保存RDB文件版本
- rdbSaveVersion(rio, "REDIS" + REDIS_RDB_VERSION)
- # 2.保存redis所有数据库中的键值对
- for db in redisServer.dbs:
- # 记录键值对所在数据库
- rdbSaveSelectDB(rio, db.num)
- # 保存该数据库中所有键值对
- for key, val in db.getKeyValuePairs():
- expired_time = getExpiredTime(key)
- rdbSaveKeyValuePair(rio, key, val, expired_time)
- # 3.写入RDB文件结束符
- rdbSaveEOF(rio, REDIS_RDB_OPCODE_EOF)
- # 4.写入校验和
- rdbSaveCkSum(rio)
- # ----------------------------------
- # 确认数据都被flush到磁盘
- fsync()
- rename(tempFile, filename)
- def rdbSaveKeyValuePair(rio, key, val, expired_time):
- if expired_time != -1:
- # 过滤过期键
- if expired_time < now_time:
- return
- rdbSaveMillisecondTime(rio, expired_time)
- # 保存值类型(list? string? hashtable?)
- rdbSaveValueType(rio, val)
- # 保存键
- rdbSaveKey(rio, key)
- # 保存值
- rdbSaveValue(rio, val)
更多细节请看:rdb.c/rdbSave函数
触发rdbSave过程,主要有4种方式:
1. SAVE命令
2. BGSAVE命令
3. master接收到slave发来的sync命令
4. 定时save(配置文件中制定)
第一种情况,Redis保存RDB文件是在主进程中进行,所以在这其间,Redis无法响应客户端请求(再次强调:Redis是单线程Server);第二种情况,Redis fork出一个子进程,然后在子进程中进行rdbSave,因此也就不会阻塞主进程对客户端请求的处理;第三种情况和第四种情况同第二种情况,也是在子进程中进行;
rdbLoad
rdbload过程就比较简单了,它会按照RDB文件协议,把键值对还原到相应的数据库,伪代码:
- def rdbLoad(filename):
- rio = rioInitWithFile(filename);
- # 设置标记:
- # a. 服务器状态:rdb_loading = 1
- # b. 载入时间:loading_start_time = now_time
- # c. 载入大小:loading_total_bytes = filename.size
- startLoading(rio)
- # ------------------------------------------
- # 1.检查该文件是否为RDB文件(即文件开头前5个字符是否为"REDIS")
- if !checkRDBHeader(rio):
- redislog("error, Wrong signature trying to load DB from file")
- return
- # 2.检查当前RDB文件版本是否兼容(向下兼容)
- if !checkRDBVersion(rio):
- redislog("error, Can't handle RDB format version")
- return
- # 3.读取文件内容,加载键值对
- while not end_of_file:
- # 每循环一千次就处理一下客户端请求
- if loops % 1000 == 0:
- processClientRequest()
- key, val, expired_time, dbnum = rdbLoadKeyValuePair()
- # 过滤过期键
- if expired_time != -1 and expired_time <= now_time:
- continue
- redisServer.db[dbnum].dict.add(key,value)
- if expired_time > now_time
- redisServer.db[dbnum].expires.add(key, expired_time)
- loops = loops + 1
- # 4. 校验和
- if (!checkCkSum()): return
- # ------------------------------------------
- # 更新标记:rdb_loading = 0
- stopLoading()
触发rdbLoad过程,主要有两种方式:
1. Redis启动时候的初始化;
2. slave接收到master发来的RDB文件;
总结:
1. 了解RDB文件格式;
2. 了解rdbSave和rdbLoad过程以及触发条件;
0 0
- 《Redis源码学习笔记》RDB
- 【Redis源码学习】检查RDB
- redis 源码学习(RDB 持久化)
- redis学习笔记(17)---RDB持久化
- 结合redis设计与实现的redis源码学习-12-RDB持久化(rdb.h/rio.h)
- redis源码分析之RDB持久化
- redis源码分析之RDB文件
- 【redis源码分析】RDB持久化机制
- Redis源码阅读之rdb.c
- Redis源码解析:11RDB持久化
- Redis源码剖析--RDB持久化
- redis rdb
- RDB redis
- redis---RDB
- Redis 学习 ---- 10.RDB持久化
- RDB与AOP之Redis学习
- 《Redis源码学习笔记》事务
- 《Redis源码学习笔记》AOF
- 《Redis源码学习笔记》事务
- 《Redis源码学习笔记》键过期
- 黑马程序员——C语言基础——sizeof、strlen、printf小结
- 基类子类子对象的构造与析构顺序
- 《Redis源码学习笔记》AOF
- 《Redis源码学习笔记》RDB
- oracle跨用户表访问
- 《Redis源码学习笔记》主从复制
- Android Orientation Sensor(方向传感器)详解与应用
- poj 2400 Supervisor, Supervisee KM求二分图+dfs输出所有解
- 第2章 Java程序设计环境
- Lua在vs2013的配置环境以及C++如何调用lua
- mysql在命令行创建数据库,修改数据库,删除数据库
- Eclipse Java文件注释\签名模板