redis集群
程序员文章站
2022-05-22 08:02:17
...
一、主从模式
1. 概念
1）主从模式是三种模式中最简单的，在主从复制中，数据库分为两类：主数据库(master)和从数据库(slave)
2）主机数据更新后根据配置和策略，自动同步到备机的masterslaver机制，master以写为主，slave以读为主
2. 作用
1）读写分离
2）容灾恢复
3. 特点
1）主数据库可以进行读写操作，当读写操作导致数据变化时会自动将数据同步给从数据库
2）从数据库一般都是只读的，并且接收主数据库同步过来的数据
3）一个master可以拥有多个slave，但是一个slave只能对应一个master
4）slave挂了不影响其他slave的读和master的读和写，重新启动后会将数据从master同步过来
5）master挂了以后，不影响slave的读，但redis不再提供写服务，master重启后redis将重新对外提供写服务
6）master挂了以后，不会在slave节点中重新选一个master
4. 工作机制
1）当slave启动后，主动向master发送SYNC命令
2）master接收到SYNC命令后在后台保存快照（RDB持久化）和缓存保存快照这段时间的命令，然后将保存的快照文件和缓存的命令发送给slave
3）slave接收到快照文件和命令后加载快照文件和缓存的执行命令（全量复制）
4）复制初始化后，master每次接收到的写命令都会同步发送给slave（增量复制），保证主从数据一致性
5. 缺点
1）master节点在主从模式中唯一，若master挂掉，则redis无法对外提供写服务
6. Redis复制如何去应用
1）配从(库)不配主(库)
2）从库配置：执行命令slaveof 主库IP 主库端口
（1）每次与master断开之后，都需要重新连接，除非你配置进redis.conf文件
（2）执行命令info replication查看主从关系
3）修改配置文件细节操作
（1）拷贝多个redis.conf文件
（2）开启daemonize yes
（3）修改pid文件名字
（4）修改指定端口
（5）修改log文件名字
（6）修改dump.rdb名字
7. 配置过程
1） 创建一个/redis/master-slave目录
（1）mkdir -p redis/master-slave
2）在master-slave目录下，创建三个子目录6380、6381、6382
（1）mkdir 6380 6381 6382
3）依次拷贝redis解压目录下的redis.conf配置文件，到这三个子目录中
（1）cp /root/redis-3.2.9/redis.conf ./6380
（2）cp /root/redis-3.2.9/redis.conf ./6381
（3）cp /root/redis-3.2.9/redis.conf ./6382
4）进入6380目录，修改redis.conf，将port端口修改成6380即可（主库）
（1）daemonize yes
（2）port 6380
5）进入6381目录，修改redis.conf，将port端口改成6381，同时指定开启主从复制
（1）daemonize yes
（2）port 6381
（3）replicaof 127.0.0.1 6380
6）进入6382目录，修改redis.conf，将port端口改成6381，同时指定开启主从复制
（1）daemonize yes
（2）port 6382
（3）replicaof 127.0.0.1 6380
7）测试
（1）进入到6380、6381/6382目录中启动redis redis-server ./redis.conf
（2）开三个窗口，分别登陆redis节点 redis-cli -p 6380/6381/6382
（3）在主库6380 set一个值，观察从库6381、6382是否同步了数据
二、哨兵模式
1. 概念
1）sentinel中文含义为哨兵，顾名思义，它的作用就是监控redis集群的运行状况
2）反客为主的自动版，能够后台监控主机是否故障，如果故障了根据投票数自动将从库转换为主库
2. 主要任务
1）监控：Sentinel 不断的检查主服务和从服务器是否按照预期正常工作
2）提醒：被监控的 Redis 出现问题时，Sentinel 会通知管理员或其他应用程序
3）自动故障转移：监控的主 Redis 不能正常工作，Sentinel 会开始进行故障迁移操作。将一个从服务器升级新的主服务器。 让其他从服务器挂到新的主服务器。同时向客户端提供新的主服务器地址
3. 特点
1）sentinel模式是建立在主从模式的基础上，如果只有一个Redis节点，sentinel就没有任何意义
2）当master挂了以后，sentinel会在slave中选择一个做为master，并修改它们的配置文件，其他slave的配置文件也会被修改，比如slaveof属性会指向新的master
3）当master重新启动后，它将不再是master而是做为slave接收新的master的同步数据
4）sentinel因为也是一个进程有挂掉的可能，所以sentinel也会启动多个形成一个sentinel集群
5）多sentinel配置的时候，sentinel之间也会自动监控
6）当主从模式配置密码时，sentinel也会同步将配置信息修改到配置文件中，不需要担心
7）一个sentinel或sentinel集群可以管理多个主从Redis，多个sentinel也可以监控同一个redis
8）sentinel最好不要和Redis部署在同一台机器，不然Redis的服务器挂了以后，sentinel也挂了
4. 工作机制
1）每个sentinel以每秒钟一次的频率向它所知的master，slave以及其他sentinel实例发送一个 PING 命令
2）如果一个实例距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值， 则这个实例会被sentinel标记为主观下线
3）如果一个master被标记为主观下线，则正在监视这个master的所有sentinel要以每秒一次的频率确认master的确进入了主观下线状态
4）当有足够数量的sentinel（大于等于配置文件指定的值）在指定的时间范围内确认master的确进入了主观下线状态， 则master会被标记为客观下线
5）在一般情况下， 每个sentinel会以每 10 秒一次的频率向它已知的所有master，slave发送 INFO 命令
6）当master被sentinel标记为客观下线时，sentinel向下线的master的所有slave发送 INFO 命令的频率会从 10 秒一次改为 1 秒一次
7）若没有足够数量的sentinel同意master已经下线，master的客观下线状态就会被移除；若master重新向sentinel的 PING 命令返回有效回复，master的主观下线状态就会被移除
8）当使用sentinel模式的时候，客户端就不要直接连接Redis，而是连接sentinel的ip和port，由sentinel来提供具体的可提供服务的Redis实现，这样当master节点挂掉以后，sentinel就会感知并将新的master节点提供给使用者
5. 启动哨兵模式步骤
1）自定义的myredis目录下新建sentinel.conf文件，名字绝不能错
2）配置哨兵,填写内容在sentinel.conf文件中配置
sentinel monitor 被监控数据库名字(自己起个名字) 127.0.0.1 6379 1
上面最后一个数字1，表示主机挂掉后salve投票看让谁接替成为主机，得票数多的成为主机
3）启动哨兵
（1）执行命令：redis-sentinel myredissentinel.conf （目录依照各自的实际情况配置，可能目录不同）
4）故障切换的过程
（1）投票（半数原则）
a. 当任何一个Sentinel发现被监控的Master下线时，会通知其它的Sentinel开会，投票确定该Master是否下线（半数以上，所以sentinel通常配奇数个）
（2）选举
a. 当Sentinel确定Master下线后，会在所有的Slaves中，选举一个新的节点，升级成Master节点
b. 其它Slaves节点，转为该节点的从节点
（3）原Master重新上线
a. 当原Master节点重新上线后，自动转为当前Master节点的从节点
6. 配置过程
1）创建/redis/sentinels/目录
（1）mkdir -p redis/sentinels
2）在/sentinels目录下，以次创建s1、s2、s3三个子目录中
（1）mkdir s1 s2 s3
3）依次拷贝redis解压目录下的sentinel.conf文件，到这三个子目录中
（1） cp /root/redis-3.2.9/sentinel.conf ./s1
（2） cp /root/redis-3.2.9/sentinel.conf ./s2
（3） cp /root/redis-3.2.9/sentinel.conf ./s3
4）依次修改s1、s2、s3子目录中的sentinel.conf文件，修改端口，并指定要监控的主节点。（从节点不需要指定，sentinel会自动识别）
port 26379/26380/26381
sentinel montior mymaster 127.0.0.1 6380 2
daemonize yes （为了观察日志输出，可以先设置为默认的no）
5）再打开三个xshell窗口，在每一个窗口中，启动一个哨兵实例，并观察日志输出
redis-sentinel ./sentinel.conf
日志输出： +monitor master mymaster 127.0.0.1 6380 quorum 2
6）测试
（1）先关闭6380节点。发现，确实重新指定了一个主节点。观察日志
日志输出：+switch-master mymaster 127.0.0.1 6380 127.0.0.1 6381
（2）再次上线6380节点。发现，6380节点成为了新的主节点的从节点
日志输出：+slave slave 127.0.0.1:6380 127.0.0.1 6380 @ mymaster 127.0.0.1 6381
三、Cluster模式（集群模式）
1. 概念
1）Redis 集群是一个可以在多个 Redis 节点之间进行数据共享的设施（installation）
2）sentinel模式基本可以满足一般生产的需求，具备高可用性。但是当数据量过大到一台服务器存放不下的情况时，主从模式或sentinel模式就不能满足需求了，这个时候需要对存储的数据进行分片，将数据存储到多个Redis实例中
3）cluster模式的出现就是为了解决单机Redis容量有限的问题，将Redis的数据根据一定的规则分配到多台机器
4）cluster可以说是sentinel和主从模式的结合体，通过cluster可以实现主从和master重选功能，所以如果配置两个副本三个分片的话，就需要六个Redis实例。因为Redis的数据是根据一定规则分配到cluster的不同机器的，当数据量过大时，可以新增机器进行扩容
2. 特点
1）【所有的redis节点彼此互联(PING-PONG机制)】,内部使用二进制协议优化传输速度和带宽
2）节点的fail是通过集群中【超过半数的节点检测失效】时才生效
3）客户端与redis节点直连,不需要中间代理层。客户端不需要连接集群所有节点，【客户端连接集群中任何一个可用节点即可】
4）Redis Cluster 集群模式（去中心化）通常具有 高可用、可扩展性、分布式、容错 等特性
3. 一致性hash四个特征（https://www.cnblogs.com/williamjie/p/9477852.html）
1）均衡性：也有人把它定义为平衡性，是指哈希的结果能够尽可能分布到所有的节点中去，这样可以有效的利用每个节点上的资源
2）单调性：当节点数量变化时哈希的结果应尽可能的保护已分配的内容不会被重新分派到新的节点
3）分散性和负载：这两个其实是差不多的意思，就是要求一致性哈希算法对 key 哈希应尽可能的避免重复
4. 哈希槽（Redis 集群没有使用一致性hash, 而是引入了哈希槽的概念）
1）概念
（1）Redis集群有16384个哈希槽，每个key通过CRC16校验后对16384取模来决定放置哪个槽(Slot)，集群的每个节点负责一部分hash槽
（2）使用哈希槽的好处就在于可以方便的添加或移除节点,并且无论是添加删除或者修改某一个节点，都不会造成集群不可用的状态,因为新增或移除节点的时候不用先停掉所有的 redis 服务
a. 当需要增加节点时，只需要把其他节点的某些哈希槽挪到新节点就可以了
b. 当需要移除节点时，只需要把移除节点上的哈希槽挪到其他节点就行了
2）工作方式
（1）当我们的存取的key到达的时候，redis会根据crc16的算法得出一个结果，然后把结果对 16384 求余数
（2）这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽，通过这个值，去找到对应的插槽所对应的节点
（3）然后直接自动跳转到这个对应的节点上进行存取操作
5. 集群搭建需要的环境
1）Redis集群至少需要3个节点，因为投票容错机制要求超过半数节点认为某个节点挂了该节点才是挂了，所以2个节点无法构成集群
2）要保证集群的高可用，需要每个节点都有从节点，也就是备份节点，所以Redis集群至少需要6台服务器
6. 配置过程
1. 概念
1）Redis 集群是一个可以在多个 Redis 节点之间进行数据共享的设施（installation）
2）sentinel模式基本可以满足一般生产的需求，具备高可用性。但是当数据量过大到一台服务器存放不下的情况时，主从模式或sentinel模式就不能满足需求了，这个时候需要对存储的数据进行分片，将数据存储到多个Redis实例中
3）cluster模式的出现就是为了解决单机Redis容量有限的问题，将Redis的数据根据一定的规则分配到多台机器
4）cluster可以说是sentinel和主从模式的结合体，通过cluster可以实现主从和master重选功能，所以如果配置两个副本三个分片的话，就需要六个Redis实例。因为Redis的数据是根据一定规则分配到cluster的不同机器的，当数据量过大时，可以新增机器进行扩容
2. 特点
1）【所有的redis节点彼此互联(PING-PONG机制)】,内部使用二进制协议优化传输速度和带宽
2）节点的fail是通过集群中【超过半数的节点检测失效】时才生效
3）客户端与redis节点直连,不需要中间代理层。客户端不需要连接集群所有节点，【客户端连接集群中任何一个可用节点即可】
4）Redis Cluster 集群模式（去中心化）通常具有 高可用、可扩展性、分布式、容错 等特性
3. 一致性hash四个特征（https://www.cnblogs.com/williamjie/p/9477852.html）
1）均衡性：也有人把它定义为平衡性，是指哈希的结果能够尽可能分布到所有的节点中去，这样可以有效的利用每个节点上的资源
2）单调性：当节点数量变化时哈希的结果应尽可能的保护已分配的内容不会被重新分派到新的节点
3）分散性和负载：这两个其实是差不多的意思，就是要求一致性哈希算法对 key 哈希应尽可能的避免重复
4. 哈希槽（Redis 集群没有使用一致性hash, 而是引入了哈希槽的概念）
1）概念
（1）Redis集群有16384个哈希槽，每个key通过CRC16校验后对16384取模来决定放置哪个槽(Slot)，集群的每个节点负责一部分hash槽
（2）使用哈希槽的好处就在于可以方便的添加或移除节点,并且无论是添加删除或者修改某一个节点，都不会造成集群不可用的状态,因为新增或移除节点的时候不用先停掉所有的 redis 服务
a. 当需要增加节点时，只需要把其他节点的某些哈希槽挪到新节点就可以了
b. 当需要移除节点时，只需要把移除节点上的哈希槽挪到其他节点就行了
2）工作方式
（1）当我们的存取的key到达的时候，redis会根据crc16的算法得出一个结果，然后把结果对 16384 求余数
（2）这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽，通过这个值，去找到对应的插槽所对应的节点
（3）然后直接自动跳转到这个对应的节点上进行存取操作
5. 集群搭建需要的环境
1）Redis集群至少需要3个节点，因为投票容错机制要求超过半数节点认为某个节点挂了该节点才是挂了，所以2个节点无法构成集群
2）要保证集群的高可用，需要每个节点都有从节点，也就是备份节点，所以Redis集群至少需要6台服务器
6. 配置过程
1）创建/redis-cluster/目录
（1）mkdir -p redis-cluster
2）在/redis-cluster目录下，以次创建01、02、03、04/05/06 6个子目录中
（1）mkdir 01 02 03 04 05 06
3）依次拷贝redis解压目录下的redis.conf配置文件，到这6个子目录中
（1）cp /root/redis-3.2.9/redis.conf ./01(其他5个一样)
4）进入01目录，修改redis.conf（其他5个类推）
（1）daemonize yes
（2）port 7001
（3）cluster-enabled yes
（4）cluster-config-file nodes-7001.conf （集群节点信息文件，不配默认是nodes.conf）
5）一个一个redis实例启动，或者写个脚本一次性启动6个
cd 01
./redis-server redis.conf
cd ..
cd 02
./redis-server redis.conf
cd ..
cd 03
./redis-server redis.conf
cd ..
cd 04
./redis-server redis.conf
cd ..
cd 05
./redis-server redis.conf
cd ..
cd 06
./redis-server redis.conf
cd ..
6）ps -ef | grep redis 查看是否启动成功
7）用redis-cli创建整个redis集群(redis5以前的版本集群是依靠ruby脚本redistrib.rb实现)
redis-cli --cluster create --cluster-replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006
8）验证集群
1）随便进一个实例， redis-cli -c -p 7001
2）使用命令查看：cluster info / cluster nodes
7. Redis 集群不支持批处理指令
1）keys
2）mget
3）mset
参考网址
Redis的高可用详解：Redis哨兵、复制、集群的设计原理，以及区别
注：文章是经过参考其他的文章然后自己整理出来的，有可能是小部分参考，也有可能是大部分参考，但绝对不是直接转载，觉得侵权了我会删，我只是把这个用于自己的笔记，顺便整理下知识的同时，能帮到一部分人。
ps : 有错误的还望各位大佬指正,小弟不胜感激
上一篇： 魅族多机房部署方案_PHP教程
下一篇： php中session逾期时间设置