Redis持久化
来源:互联网 发布:硕士论文修改 淘宝 编辑:程序博客网 时间:2024/06/16 06:23
RDB方式:根据指定的规则“定时”将内存中的数据存储在硬盘上
AOF方式:每次执行命令后将命令本身记录下来
RDB方式
当符合一定条件时redis会自动将内存中的所有数据生成一份副本并存储在硬盘上,这个过程称之为"快照"(snapshotting)
redis会在如下几种情况对数据进行快照
1.根据配置规则进行自动快照
2.用户执行SAVE或BGSAVE命令
3.执行FLUSHALL命令
4.执行复制(replication)时
根据配置规则进行自动快照
redis允许用户自定义快照条件,当符号快照条件时,redis会自动执行快照操作。
进行快照的条件可以由用户在配置文件中定义,有两个参数构成:时间窗口M和改动的键的个数N。每当时间M内被改动的键的个数大于N时,即符合自动快照条件。
例如redis安装目录中包含的样例配置文件中预置的三个条件:
save 900 1
save 300 10
save 60 10000
每个快照条件占一行,并且以save参数开头。同时可以存在多个条件,条件之间是"或"的关系。
用户执行SAVE或BGSAVE命令
除了让redis自动进行快照外,当进行服务重启、手动迁移以及备份时我们也会需要手动执行快照操作。redis提供了两个命令来完成这个任务。
save命令
当执行save命令时,redis同步地进行快照操作,在快照执行的过程中会阻塞所有来自客户端的请求。当数据库中的数据比较多时,这一过程会导致redis较长时间不响应,所以要尽量避免在生产环境使用这个命令。
bgsave命令
需要手动执行快照时推荐使用bgsave命令。bgsave异步异步命令可以在后台异步的进行快照操作,快照的同时服务器还可以继续响应来自客户端的请求。执行bgsave后redis会立即返回OK表示开始执行快照操作,如果想知道快照是否完成,可以通过lastsave命令获取最近一次成功执行快照的时间,返回结果是一个Unix时间戳。
执行FLUSHALL命令
当执行flushall命令时,redis会清除数据库中的所有数据。不论清空数据库的过程是否触发了自动快照条件,只要自动快照条件不为空,redis就会执行一次快照操作。
执行复制(replication)时
当设置了主从模式时,redis会在复制初始化时进行自动快照。
快照原理
默认会将快照文件存储在redis当前进程的工作目录中的dump.rdb文件中,可以通过配置dir和dbfilename两个参数分别指定快照文件的存储路径和文件名。
快照过程如下:
1.redis使用fork函数复制一份当前进程(父进程)的副本(子进程);
2.父进程继续接受并处理客户端发来的命令,而子进程开始将内存中的数据写入硬盘中的临时文件。
3.当子进程写入完所有的数据后会用该临时文件替换旧的RDB文件,至此一次快照操作完成。
在执行fork的时候操作系统会使用写时复制(copy-on-write)策略,即fork函数发生的那一刻父子进程共享同一内存数据,当父进程要更改其中某片数据时(如执行一个写命令),操作系统会将该片数据复制一份以保证子进程数据不受影响,所以新的RDB文件存储的是执行fork一刻的内存数据。
写时复制策略也保证了在fork的时刻虽然看上去生成了两个内存副本,但实际
上内存的占用量并不会增加一倍。为此需要确保Linux系统允许应用程序申请超过可用内存(物理内存和交换分区)的空间,方法是在/etc/sysctl.conf文件中加入vm.overcommit_memory=1,然后重启系统确保设置生效。
当进行快照的过程中,如果写入操作较多,造成fork前后数据差异较大,是会使得内存使用量显著超过实际数据大小的,因为内存中不仅保存了当前的数据库数据,而且还保存了fork时刻的内存数据。
redis在进行快照的过程时不会修改RDB文件,只有快照结束后才会将旧的文件替换成新的,也就是说任何时候RDB文件都是完整的。这使得我们可以通过定时备份RDB文件来实现redis数据库备份。RDB文件是经过压缩的二进制格式,redis启动后会读取RDB快照文件,将数据从硬盘载入到内存。一旦redis异常退出,就会丢失最后一次快照以后更改的所有数据。
AOF方式(Append Only File)
当使用redis存储非临时数据时,一般都需要打开AOF持久化来降低进程中导致的数据丢失。aof可以将redis执行的每一条命令追加到硬盘文件中,这一过程会降低redis的性能。
开启AOF
redis默认情况下没有开启AOF方式的持久化,可以通过appendonly参数启用:
appendonly yes
开启AOF持久化后每执行一条会更改redis 中的数据的命令,redis就会将该命令写入到硬盘中的AOF文件。AOF文件的保存位置和RDB文件的位置相同,都是通过dir参数设置的,默认的文件名是appendonly.aof,可以通过appendfilename参数修改:appendfilename appendonly.aof
AOF的实现
AOF文件以纯文本的形式记录了redis执行的写命令。
AOF文件的内容正是redis客户端向redis 发送的原始通信协议的内容。每当达到一定条件时redis就会自动重写AOF文件,这个条件可以在配置文件中设置:
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
auto-aof-rewrite-percentage 当目前超过的AOF文件上一次重写时的AOF文件大小的百分之多少时会再次进行重写。auto-aof-rewrite-min-size 限制了允许重写的最小AOF文件大小。
BGREWRITEAOF命令手动执行AOF重写。
同步硬盘数据
虽然每次执行更改数据库内容的操作时,AOF都会将命令记录在AOF文件中,但由于操作系统的缓存机制,数据并没有真正的写入硬盘,而是进入了系统的硬盘缓存。默认情况下系统每30秒会执行一次同步操作,以便将硬盘缓存中的内容真正的写入硬盘。
redis在写入AOF文件后主动要求系统将缓存内容同步到硬盘中
#appendfsync always 每次执行写入 都会执行同步
appendfsync everysec 每秒执行一次同步操作
#appendfsync no 不主动进行同步操作,完全交由操作系统来做(即每30秒一次)
- 【redis】redis 持久化
- 【redis】redis持久化
- redis---Redis持久化
- 【Redis】Redis持久化存储
- 【Redis学习】:redis持久化
- 七.redis 持久化
- Redis:七、持久化
- redis 持久化
- 七.redis 持久化
- redis数据持久化
- Redis持久化
- 解密Redis持久化
- 七.redis 持久化
- Redis的持久化
- 解密Redis持久化
- 解密Redis持久化
- redis持久化机制
- redis 持久化
- 通过efi=debug 在kernel log中显示bios占用的memory
- eclipse远程调试Tomcat方法
- mysql使用建议
- Web基础之Cookie对象和Session对象项目实战和对比
- 数据挖掘与预测分析------跨行业数据挖掘标准流程:CRISP-DM
- Redis持久化
- HDU5249(set+queue模拟)
- java(swing)+mysql实现学生信息管理系统
- Android 中的Activity、Window、View之间的关系
- 008-阈下意识|识别商场上的圈套
- unicode与utf-8转换
- 将nodejs代码部署到阿里云服务器
- linux devel包 和 非devel包的区别
- ToolBar和ToolBar的setTitle()方法不生效解决方法