Redis-RDB持久化

一. RDB持久化的原理

RDB持久化是把当前进程数据生成快照保存到硬盘中的过程。

二. RDB持久化的触发机制

2.1 手动触发RDB

手动触发RDB的方式有两种，分别是save命令和bgsave命令

2.1.1 save命令触发RDB

   Save命令将阻塞当前Redis服务器，直到RDB过程完成为止，对于内存比较大的实例会造成长时间阻塞，线上环境不建议使用

 

  执save命令后对应的redis日志如下：

  *DB saved on disk

2.1.2 bgsave命令触发RDB

Redis进程执行fork操作创建子进程，rdb操作由子进程完成，完成后自动结束。阻塞只发生在fork阶段，时间很短。

    Redis内部所有涉及RDB的操作都由bgsave命令来完成。Save命令由于会阻塞redis进程已经被废弃。

执行bgsave后对应的redis日志：

27206:M 18 Jul 16:35:56.882 * Backgroundsaving started by pid 28214

28214:C 18 Jul 16:35:56.884 * DB saved ondisk

28214:C 18 Jul 16:35:56.885 * RDB: 0 MB ofmemory used by copy-on-write

27206:M 18 Jul 16:35:56.936 * Backgroundsaving terminated with success

2.2 自动触发

除了执行命令手动触发之外，Redis内部还存在自动触发RDB持久化机制，例如以下场景：

（1）      使用save相关配置，如save m n，表示m秒内数据集存在n次修改时，自动触发rdb

例如：

10.3.34.101:6378> config set save "10 1 300 10 6010000"

OK

10.3.34.101:6378> set bbbbb cccccc

OK

Redis.log中观察日志

27206:M 18 Jul 17:05:49.235 * 1 changes in 10 seconds. Saving...

27206:M 18 Jul 17:05:49.235 * Background saving started by pid 31273

31273:C 18 Jul 17:05:49.238 * DB saved on disk

31273:C 18 Jul 17:05:49.238 * RDB: 0 MB of memory used bycopy-on-write

27206:M 18 Jul 17:05:49.335 * Background saving terminated with success

 

（2）      如果从节点执行执行全量复制操作，主节点自动执行bgsave操作生产rdb文件并传送给从节点。

（3）      执行debug reload命令重新加载redis时，也会自动触发save操作

Redis.log中观察日志：

27206:M 18 Jul 18:09:09.312 * DB saved on disk

27206:M 18 Jul 18:09:09.312 # DB reloaded by DEBUG RELOAD

（4）      默认情况下执行shutdown命令时，如果没有开启AOF持久化功能则自动执行bgsave

Redis.log中观察日志：

27206:M 18 Jul 18:11:26.507 # User requested shutdown...

27206:M 18 Jul 18:11:26.507 * Saving the final RDB snapshot beforeexiting.

27206:M 18 Jul 18:11:26.509 * DB saved on disk

27206:M 18 Jul 18:11:26.509 * Removing the pid file.

27206:M 18 Jul 18:11:26.509 # Redis is now ready to exit,bye bye...

 

三. bgsave执行流程

bgsave的执行流程如下：

             

 

1）  客户端执行bgsave命令，父进程收到bgsave命令后，判断当前是否有正在执行的子进程，如RDB/AOF子进程，如果存在，则bgsave命令直接返回。

2）  父进程执行fork操作创建子进程，fork操作执行过程中，redis父进程会阻塞。通过infostats命令查看last_fork_usec选项,可以获取最近一个fork操作的耗时，单位为微妙

3）  父进程fork完成后，bgsave命令返回“backgroundsaving started”信息并不再阻塞父进程，可以继续响应其他命令。

4）  子进程创建RDB文件，根据父进程内存生成临时快照文件，完成后替换原有文件。执行lastsave命令可以获取最后一次生成RDB的时间，对应info统计的rdb_last_save_time选项。

5）  子进程生产rdb文件并替换原有文件后，向父进程发送信号表示通知完成，父进程更新统计信息。相关统计信息如下：

# Persistence

loading:0

rdb_changes_since_last_save:0

rdb_bgsave_in_progress:0

rdb_last_save_time:1500374944

rdb_last_bgsave_status:ok

rdb_last_bgsave_time_sec:-1

rdb_current_bgsave_time_sec:-1

四 RDB文件的处理

4.1 保存

RDB文件保存在dir配置指定的目录下，文件名通过dbfieldname配置指定。

Redis.conf文件中相关配置如下：

# The filename where to dump the DB

dbfilename "dump1.rdb"

 

# The working directory.

#

# The DB will be written inside thisdirectory, with the filename specified

# above using the 'dbfilename'configuration directive.

#

# The Append Only File will also be createdinside this directory.

#

# Note that you must specify a directoryhere, not a file name.

dir"/home/devuser/software/redis/redis-3.2.4/redis_instance/8001"

 

4.2 压缩

Redis默认采用LZF算法对生成的RDB文件作压缩处理，压缩后的文件远远小于内存大小，默认开启。可以通过rdbcompression{yes|no}参数来调整。

虽然压缩rdb文件会占用CPU资源，但可大幅度降低rdb文件的体积，方便保存到硬盘并通过网络传送给其他从节点，因此建议线上开启。

 

Redis.conf中rdbcompression参数配置如下：

# the dataset will likely be bigger if youhave compressible values or keys.

rdbcompression yes

4.3 校验

如果redis加载损坏的rdb文件时会拒绝启动，会打印如下日志：

#Short read or OOM loading DB. Unrecoverableerror,aborting now.

可以通过redis提供的redis-check-dump工具检测rdb文件，并获取对应的错误报告。

 

举例：

（1）使用redis-check-dump检测正确的rdb文件

[devuser@iz2ze2ehfvske0t6zflgupz 8001]$redis-check-rdb dump1.rdb

[offset 0] Checking RDB file dump1.rdb

[offset 26] AUX FIELD redis-ver = '3.2.4'

[offset 40] AUX FIELD redis-bits = '64'

[offset 52] AUX FIELD ctime = '1500372686'

[offset 67] AUX FIELD used-mem = '844208'

[offset 69] Selecting DB ID 0

[offset 388] Checksum OK

[offset 388] \o/ RDB looks OK! \o/

[info] 22 keys read

[info] 0 expires

[info] 0 already expired

 

（2）使用redis-check-dump检测正确的rdb文件

 

--- RDB ERROR DETECTED ---

[offset 9] Wrongsignature trying to load DB from file

[additional info] While doing: start

[additional info] Reading type 0 (string)

[info] 0 keys read

[info] 0 expires

[info] 0 already expired

五. RDB持久化的优缺点

优点：

（1）      Rdb是一个紧凑压缩的二进制文件，代表redis某个时间点上的数据快照。非常适用于备份，全量复制等场景。比如3小时进行一次备份，并把RDB文件拷贝到远程机器或文件系统中，用于灾难恢复。

（2）      Redis加载rdb恢复数据远远快于AOF的方式

缺点：

（1）      RDB方式没有办法做到实时持久化或者秒级持久化。因为bgsave每次运行时都要执行fork操作创建子进程，属于重量级操作，频繁执行成本过高。

（2）      RDB文件使用特定的二进制格式保存，Redis版本演进过程中有多个格式的RDB版本，存在老版本redis服务无法兼容新版本RDB格式的问题