redis之数据安全与性能保障详解

来源:互联网 发布:centos7配置防火墙端口 编辑:程序博客网 时间:2024/05/16 13:59

对于redis的持久化分为两种

快照持久化(snapshotting)

存储所有数据到磁盘
常见的配置:

save 60 1000stop-writes-on-bgsave-error nordbcompression yesdbfilename dump.rdb

创建快照有这么几种方法:
1,bgsave命令,会fork出一个进程 ,对于子进程和父进程他们会共享一个内存,
2,save命令,会造成在完成前,客户端是去响应
3,配置save项
4,Redis通过shutdown关闭时
5,当一个redis连接到另一个redis时,一般是主从复制时


注意:bgsave和save的区别

SAVE 和 BGSAVE 两个命令都会调用 rdbSave 函数,但它们调用的方式各有不同:• SAVE 直接调用 rdbSave ,阻塞 Redis 主进程,直到保存完成为止。在主进程阻塞期间,服务器不能处理客户端的任何请求。• BGSAVE 则 fork 出一个子进程,子进程负责调用 rdbSave ,并在保存完成之后向主进程发送信号,通知保存已完成。因为 rdbSave 在子进程被调用,所以 Redis 服务器在BGSAVE 执行期间仍然可以继续处理客户端的请求。需要注意的是fork一个子进程是比较消耗内存的

追加文件(AOF:append-only file)

存储所有执行的命令到磁盘

appendonly noappendfsync everysecno-appendfsync-on-rewrite noauto-aof-rewrite-percentage 100auto-aof-rewrite-min-size 64mb

appendfsync选项和同步频率

        

无论采用哪种方式,都不足以保证数据安全。所以如果条件允许的话,最好能把数据备份到其他服务器上,或者数据库里。

redis复制

主从复制

有经验的工程师都知道复制(replication)是补课或缺的。复制可以让其他服务器拥有数据副本。redis也拥有这种能力。
非常简单:
你需要设置dir和dbfilename选项。
然后安装两个redis服务器,选择一台作为备机,修改其redis.conf

slaveof <masterip> <masterport>

,开启主redis,再开启从redis。这样你在主机上的数据就可以备份到从redis了。(从redis是不允许写入数据的,而且从reids会抛弃掉之前拥有的所有数据)
开启redis的主从复制并不需要太多的配置,不过了解其工作过程将会很有趣,也很有用。

从服务器连接主服务器时的步骤

步骤主服务器的操作从服务器的操作1等待命令进入连接(或者重连)主服务器,发送sync命令2开始执行bgsave,并使用缓存区记录bgsave之后执行的所有写命令根据配置选项来决定是继续使用现有数据(如果有的话)来处理客户端请求,还是想发送请求的客户端返回错误3bgsave执行完毕,开始向从服务器发送快照文件,并在发送期间继续使用缓存区记录执行的所有写命令丢弃旧数据,开始载入主服务器发来的快照文件4快照文件发送完毕,开始向从服务器发送存储在缓存区的写命令完成对快照文件的解释操作,想往常一样接受命令请求5缓存区存储的命令发送完毕,从现在开始,没执行一条写命令,就向从服务器发送相同的写命令执行主服务器发来的所有存储在缓存区的写命令;并从现在开始,接收并执行主服务器发来的每个写命令

警告:
1,redis不支持主主复制(master-master replication)。
2,从服务器会删掉所有数据。

当多个从服务器尝试连接同一个主服务器时,情况又会变得不一样

当有新的从服务器连接主服务器时主服务器的操作上表的步骤3尚未执行所有的从服务器会接收到相同的快照文件和相同的缓冲区命令上表的步骤3正在执行或已经执行完毕当主服务器完成上表的5个步骤之后,再从步骤1执行到步骤5

主从链

redis的从服务器和主服务器并没有什么特别不同的地方,因此,从服务器也可以拥有其从服务器。
但是请注意其过程:如果从服务器X拥有从服务器Y,那么当从服务器X执行步骤4时,他会断开与Y的连接,导致从服务器Y需要重连并重新同步。
当读请求的重要性远远高于写请求,那么可以创建一个由主从节点(master-slave node)组成的中间层来分担主服务器的复制工作。

redis事物

之前也介绍了事物,利用multi和exec就可以实现简单的事物。但是存在一个问题:用户没办法根据读到的数据来做决定。比如,下订单的时候,需要根据读到的商品库存量来决定是否可以下单。
为了解决这个问题,我们需要知道watch,有的时候还需要unwatch和discard命令。

__author__ = 'dubby'import redisimport timeconn = redis.Redis(host='localhost', port=6379, db=0)def list_item(itemid,sellerid,price):    inventory = "inventory:%s"%sellerid    item = "%s%s"(itemid,sellerid)    end = time.time() + 5    pip = conn.pipeline()    while time.time() < end:        try:            pip.watch(inventory)                    #监视用户包裹发生的变化            if not pip.sismember(inventory,itemid): #检查用户是否坚持购买此商品                pip.unwatch()                       #如果用户取消购买,取消监视,并退出                return None            pip.multi()                             #开始购买            pip.zadd("market:",item,price)            pip.srem(inventory,itemid)            pip.execute()            return True        except redis.exception.EatchError:          #如果在购买期间,发现用户包裹出现变化,重试            pass    return False

什么是discard:unwatch可以在watch执行之后,multi执行之前对连接重置,discard可以在multi执行之后,exec执行之前对连接重置。

非事物型流水线

流水线(pipeline)除了事物,还可以缓存命令,减少和redis服务器的交互次数,但是有的时候不需要事物,仅仅需要缓存命令,那么可以

pip = conn.pipline(False)

这样就可以获得一个不带事物的流水线

0 0
原创粉丝点击