redis持久化

1.持久化的原因

默认情况下，redis数据是存在内存当中，一旦出现程序宕机或者其他意外情况，所有的数据将不存在！redis数据库提供了两种数据持久化的方法来将数据存储到硬盘上，分别是：快照持久化、aof文件持久化。

2.两种持久化

RDB快照(快照持久化) client 可以使用save或者bgsave命令通知redis做一次快照持久化。save操作是在主线程中保存快照的，由于redis是用一个主线程来处理所有 client的请求，这种方式会阻塞所有client请求。另一点需要注意的是，每次快照持久化都是将内存数据完整写入到磁盘一次，并不是增量的只同步脏数据。如果数据量大的话，而且写操作比较多，必然会引起大量的磁盘io操作，可能会严重影响性能。 具体方法：可以直接执行save或者bgsave指令就可以将数据保存到硬盘上。此外可以在配置文件配置快照保存的策略。在redis.conf配置文件中找到如下：

dbfilename dump.rdb     #RDB快照文件名称save 900 1      #900s之内有数据库有1次数据改变save 300 10     #300s之内有数据库有10次数据被改变save 60 10000   #10000s之内有数据库60次数据被改变将前面的#号去掉便可以开启RDB保存功能。将数据同步到dump.rdb中

AOF持久化 aof日志的全称是append only file，从名字也可以看出它是一个追加写入的日志文件。aof 比快照方式有更好的持久化性，是由于在使用aof持久化方式时，redis会将每一个收到的写命令都通过write函数追加到文件中(默认是appendonly.aof)。当redis重启时会通过重新执行文件中保存的写命令来在内存中重建整个数据库的内容。当然由于os会在内核中缓存 write做的修改，所以可能不是立即写到磁盘上。这样aof方式的持久化也还是有可能会丢失部分修改。不过我们可以通过配置文件告诉redis我们想要通过fsync函数强制os写入到磁盘的时机。

具体方法：可以在启动redis数据库的时候追加参数

./redis-server --appendonly yes

此外可以在配置文件中这样修改配置参数,找到如下：

appendonly yesappendfilename "appendonly.aof"appendfsync everysec

将前面的注释#号去掉，再重起数据库既可以开启aof持久化模式了，可以在服务器的当前路径下生成一个后缀是aof的文件。值得注意的是配置文件中中有三个选项设置

appendfsync no appendfsync everysecappednfsync always

appendfsync no 当设置appendfsync为no的时候，Redis不会主动调用fsync去将AOF日志内容同步到磁盘，所以这一切就完全依赖于操作系统的调试了。对大多数Linux操作系统，是每30秒进行一次fsync，将缓冲区中的数据写到磁盘上。

appendfsync everysec 当设置appendfsync为everysec的时候，Redis会默认每隔一秒进行一次fsync调用，将缓冲区中的数据写到磁盘。但是当这一次的fsync调用时长超过1秒时。Redis会采取延迟fsync的策略，再等一秒钟。也就是在两秒后再进行fsync，这一次的fsync就不管会执行多长时间都会进行。这时候由于在fsync时文件描述符会被阻塞，所以当前的写操作就会阻塞。 所以，结论就是，在绝大多数情况下，Redis会每隔一秒进行一次fsync。在最坏的情况下，两秒钟会进行一次fsync操作。 这一操作在大多数数据库系统中被称为group commit，就是组合多次写操作的数据，一次性将日志写到磁盘。

appednfsync always 当设置appendfsync为always时，每一次写操作都会调用一次fsync，这时数据是最安全的，当然，由于每次都会执行fsync，所以其性能也会受到影响。

3.两种持久化的优缺点

RDB存在哪些优势呢？

1). 一旦采用该方式，那么你的整个Redis数据库将只包含一个文件，这对于文件备份而言是非常完美的。比如，你可能打算每个小时归档一次最近24小时的数据，同时还要每天归档一次最近30天的数据。通过这样的备份策略，一旦系统出现灾难性故障，我们可以非常容易的进行恢复。

2). 对于灾难恢复而言，RDB是非常不错的选择。因为我们可以非常轻松的将一个单独的文件压缩后再转移到其它存储介质上。

3). 性能最大化。对于Redis的服务进程而言，在开始持久化时，它唯一需要做的只是fork出子进程，之后再由子进程完成这些持久化的工作，这样就可以极大的避免服务进程执行IO操作了。

4). 相比于AOF机制，如果数据集很大，RDB的启动效率会更高。

RDB又存在哪些劣势呢？

1). 如果你想保证数据的高可用性，即最大限度的避免数据丢失，那么RDB将不是一个很好的选择。因为系统一旦在定时持久化之前出现宕机现象，此前没有来得及写入磁盘的数据都将丢失。

2). 由于RDB是通过fork子进程来协助完成数据持久化工作的，因此，如果当数据集较大时，可能会导致整个服务器停止服务几百毫秒，甚至是1秒钟。

AOF的优势有哪些呢？

1). 该机制可以带来更高的数据安全性，即数据持久性。Redis中提供了3中同步策略，即每秒同步、每修改同步和不同步。事实上，每秒同步也是异步完成的，其效率也是非常高的，所差的是一旦系统出现宕机现象，那么这一秒钟之内修改的数据将会丢失。而每修改同步，我们可以将其视为同步持久化，即每次发生的数据变化都会被立即记录到磁盘中。可以预见，这种方式在效率上是最低的。至于无同步，无需多言，我想大家都能正确的理解它。

2). 由于该机制对日志文件的写入操作采用的是append模式，因此在写入过程中即使出现宕机现象，也不会破坏日志文件中已经存在的内容。然而如果我们本次操作只是写入了一半数据就出现了系统崩溃问题，不用担心，在Redis下一次启动之前，我们可以通过redis-check-aof工具来帮助我们解决数据一致性的问题。

3). 如果日志过大，Redis可以自动启用rewrite机制。即Redis以append模式不断的将修改数据写入到老的磁盘文件中，同时Redis还会创建一个新的文件用于记录此期间有哪些修改命令被执行。因此在进行rewrite切换时可以更好的保证数据安全性。在配置文件中可以看到如下配置：

no-appendfsync-on-rewrite yes   #在日志重写时，不进行命令追加操作，而只是将其放在缓冲区里，避免与命令的追加造成DISK IO上的冲突。auto-aof-rewrite-percentage 100 #当前AOF文件大小是上次日志重写得到AOF文件大小的二倍时，自动启动新的日志重写过程。auto-aof-rewrite-min-size 64mb  #当前AOF文件启动新的日志重写过程的最小值，避免刚刚启动Reids时由于文件尺寸较小

4). AOF包含一个格式清晰、易于理解的日志文件用于记录所有的修改操作。事实上，我们也可以通过该文件完成数据的重建。

AOF的劣势有哪些呢？

1). 对于相同数量的数据集而言，AOF文件通常要大于RDB文件。RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快。

2). 根据同步策略的不同，AOF在运行效率上往往会慢于RDB。总之，每秒同步策略的效率是比较高的，同步禁用策略的效率和RDB一样高效。

4.选择哪种持久化比较好

到底选择什么呢？下面是来自官方的建议： 通常，如果你要想提供很高的数据保障性，那么建议你同时使用两种持久化方式。 如果你可以接受灾难带来的几分钟的数据丢失，那么你可以仅使用RDB。 很多用户仅使用了AOF，但是我们建议，既然RDB可以时不时的给数据做个完整的快照，并且提供更快的重启，所以最好还是也使用RDB。 因此，我们希望可以在未来（长远计划）统一AOF和RDB成一种持久化模式。

5.更多人的推荐

通常的设计思路是利用Replication机制来弥补aof、snapshot性能上的不足，达到了数据可持久化。 即Master上Snapshot和AOF都不做，来保证Master的读写性能，而Slave上则同时开启Snapshot和AOF来进行持久化，保证数据的安全性。

首先，修改Master上的如下配置：

#save 900 1 #禁用Snapshot#save 300 10#save 60 10000

appendonly no #禁用AOF
接着，修改Slave上的如下配置：

save 900 1 #启用Snapshot
save 300 10
save 60 10000

appendonly yes #启用AOF

appendfilename appendonly.aof #AOF文件的名称
appendfsync always
appendfsync everysec #每秒钟强制写入磁盘一次
appendfsync no

no-appendfsync-on-rewrite yes   #在日志重写时，不进行命令追加操作auto-aof-rewrite-percentage 100 #自动启动新的日志重写过程auto-aof-rewrite-min-size 64mb  #启动新的日志重写过程的最小值

此外这里还有一篇关于redis灾难现场恢复的博客：http://iluoxuan.iteye.com/blog/1940398