Redis 集群

1. Redis集群

3.0支持
由多个Redis服务器组成的分布式网络服务集群
每一个Redis服务器称为节点Node，节点之间会互相通信。两两相连
Redis集群无中心节点（无主模型）

2. Redis集群节点复制

● Redis集群的每个节点都有两种角色可选：主节点master node、从节点slave node。其中主节点用于存储数据，而从节点则是某个主节点的复制品
● 当用户需要处理更多读请求的时候，添加从节点可以扩展系统的读性能，因为Redis集群重用了单机Redis复制特性的代码，所以集群的复制行为和我们之前介绍的单机复制特性的行为是完全一样的

3. Redis集群故障转移

● Redis集群的主节点内置了类似Redis Sentinel的节点故障检测和自动故障转移功能，当集群中的某个主节点下线时，集群中的其他在线主节点会注意到这一点，并对已下线的主节点进行故障转移
● 集群进行故障转移的方法和Redis Sentinel进行故障转移的方法基本一样，不同的是，在集群里面，故障转移是由集群中其他在线的主节点负责进行的，所以集群不必另外使用Redis Sentinel

4. Redis集群分片

● 集群将整个数据库分为16384个槽位slot，所有key都数据这些slot中的一个，key的槽位计算公式为slot_number=crc16(key)%16384，其中crc16为16位的循环冗余校验和函数
● 集群中的每个主节点都可以处理0个至16383个槽，当16384个槽都有某个节点在负责处理时，集群进入上线状态，并开始处理客户端发送的数据命令请求
举例：
三个主节点7000、7001、7002平均分片16384个slot槽位
节点7000指派的槽位为0到5460
节点7001指派的槽位为5461到10922
节点7002指派的槽位为10923到16383

5. Redis集群Redirect转向

● 由于Redis集群无中心节点，请求会发给任意主节点
● 主节点只会处理自己负责槽位的命令请求，其它槽位的命令请求，该主节点会返回客户端一个转向错误
● 客户端根据错误中包含的地址和端口重新向正确的负责的主节点发起命令请求

6. Redis集群搭建

1. 创建多个主节点
2. 为每一个节点指派slot，将多个节点连接起来，组成一个集群
3. 槽位分片完成后，集群进入上线状态
4. 6个节点：3个主节点，每一个主节点有一个从节点

redis集群 3.x版本物理节点1个指定3个主节点端口为7000、7001、7002对应的3个从节点端口为7003、7004、7005mkdir cluster-testcd cluster-testmkdir 7000 7001 7002 7003 7004 7005配置文件开启集群模式cluster-enabled yes指定不冲突的端口port <对应端口号>在7000-7005目录中放入redis.confredis.conf内容如下cluster-enabled yesport 700x启动所有服务，要进入子目录启动服务# cd 700x# redis-server redis.conf# ss -tanl | grep 700创建集群安装目录src中redis-trib.rb完成集群创建# yum install ruby rubygems -yredis模块安装在线安装# gem install redis离线安装https://rubygems.org/gems/redis# gem install --local redis-3.3.0.gem在安装目录下的src中# ./redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 \127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005以下是分配的信息展示Using 3 masters:127.0.0.1:7000127.0.0.1:7001127.0.0.1:7002Adding replica 127.0.0.1:7003 to 127.0.0.1:7000Adding replica 127.0.0.1:7004 to 127.0.0.1:7001Adding replica 127.0.0.1:7005 to 127.0.0.1:7002M: f1ef654046511d60c9c3cedd1fa5017086763aa1 127.0.0.1:7000   slots:0-5460 (5461 slots) masterM: 4d973f83092894f511c84c2599660bd96b046e26 127.0.0.1:7001   slots:5461-10922 (5462 slots) masterM: c9321b85417bda740d93935d8b9096f49abb8078 127.0.0.1:7002   slots:10923-16383 (5461 slots) masterS: 471ad5b2e24e3e483c5b6f4aecfeb45729417b26 127.0.0.1:7003   replicates f1ef654046511d60c9c3cedd1fa5017086763aa1S: d27e55b66871710db0416b1890b5aca9bc568ea2 127.0.0.1:7004   replicates 4d973f83092894f511c84c2599660bd96b046e26S: 63b0076dd9eb0a11fb371034afdeadf5ac150550 127.0.0.1:7005   replicates c9321b85417bda740d93935d8b9096f49abb8078自动分配了主从，自动分配了slots，所有槽都有节点处理，集群上线>>> Performing Cluster Check (using node 127.0.0.1:7000)M: f1ef654046511d60c9c3cedd1fa5017086763aa1 127.0.0.1:7000   slots:0-5460 (5461 slots) masterM: 4d973f83092894f511c84c2599660bd96b046e26 127.0.0.1:7001   slots:5461-10922 (5462 slots) masterM: c9321b85417bda740d93935d8b9096f49abb8078 127.0.0.1:7002   slots:10923-16383 (5461 slots) masterM: 471ad5b2e24e3e483c5b6f4aecfeb45729417b26 127.0.0.1:7003   slots: (0 slots) master   replicates f1ef654046511d60c9c3cedd1fa5017086763aa1M: d27e55b66871710db0416b1890b5aca9bc568ea2 127.0.0.1:7004   slots: (0 slots) master   replicates 4d973f83092894f511c84c2599660bd96b046e26M: 63b0076dd9eb0a11fb371034afdeadf5ac150550 127.0.0.1:7005   slots: (0 slots) master   replicates c9321b85417bda740d93935d8b9096f49abb8078客户端连接redis-cli -p 7000 -c-c 使用集群模式，允许转向举例# redis-cli -p 7001 -c127.0.0.1:7001> set msg helloOK127.0.0.1:7001> set date 2016-> Redirected to slot [2022] located at 127.0.0.1:7000OK127.0.0.1:7000> get msg-> Redirected to slot [6257] located at 127.0.0.1:7001"hello"127.0.0.1:7001> get date-> Redirected to slot [2022] located at 127.0.0.1:7000"2016"127.0.0.1:7000> get date"2016"date 7000msg在7001234属于7000 7003abc 7001a 7002调整命令顺序，试试看> set msg hello> set date 2016> get date> get msg上下线测试干掉7000看看日志    该节点的从节点会尝试连接 , 之后其它两个master的哨兵会投票让从节点变为master开启7000看日志#!/bin/bashfor i in `seq 0 5`docd 700$iredis-server redis.conf &cd ..done

7. Redis集群总结

• Redis集群是一个由多个节点组成的分布式服务集群，它具有复制、高可用和分片特性
• Redis的集群没有中心节点，并且带有复制和故障转移特性，这可用避免单个节点成为性能瓶颈，或者因为某个节点下线而导致整个集群下线
• 集群中的主节点负责处理槽（储存数据），而从节点则是主节点的复制品
• Redis集群将整个数据库分为16384个槽，数据库中的每个键都属于16384个槽中的其中一个
• 集群中的每个主节点都可以负责0个至16384个槽，当16384个槽都有节点在负责时，集群进入上线状态，可以执行客户端发送的数据命令
• 主节点只会执行和自己负责的槽有关的命令，当节点接收到不属于自己处理的槽的命令时，它将会处理指定槽的节点的地址返回给客户端，而客户端会向正确的节点重新发送
• 如果需要完整地分片、复制和高可用特性，并且要避免使用代理带来的性能瓶颈和资源消耗，那么可以选择使用Redis集群；如果只需要一部分特性（比如只需要分片，但不需要复制和高可用等），那么单独选用twemproxy、Redis的复制和Redis Sentinel中的一个或多个

/ twemproxy 集群 运作模式 代理模式，代理本身可能成为性能瓶颈，随着负载的增加需要添加更多twemproxy来分担请求负载，但每个twemproxy本身也会消耗一定的资源 分布式，没有中心节点，但是因为每个节点都需要互相进行数据通信，所以在节点数量多时，集群用于进行通信所耗费的网络资源会比较多 分片 基本上是按照池中的服务器数量N来分片，每个服务器平均占整个数据库的1/N 按照槽来进行分片，通过每个节点指派不同数量的槽，可以控制不同节点负责数据量和请求数量 复制和高可用 需要配合Redis的复制特性以及Redis Sentinel才能实现复制和高可用 集群的节点内置了复制和高可用特性