redis主从复制初识

一、作用

• slave会通过被复制同步master上面的数据，形成数据副本

• 当master节点宕机时，slave可以升级为master节点承担写操作。

• 允许有一主多从，slave可以承担读操作，提高读性能，master承担写操作。即达到读写分离

二、简单性质

• 一个master可以有多个slave

• 每个slave只能有一个master

• 每个slave也可以有自己的多个slave

• 数据流是单向的，从master到slave

三、创建主从的方式

1.slaveof命令

#在希望成为slave的节点中执行以下命令
slaveof ${masterip} ${masterport} 

此过程会异步地将master节点中的数据全量地复制到当前节点中

2.通过配置实现

配置项	含义
salveof ${masterip} ${masterport}	设置当前节点作为其他节点的slave节点
slave-read-only yes	设置当前slave节点是只读的，不会执行写操作

 

3.取消主从的方式

#在不希望作为slave的节点中执行以下命令
salveof no one

执行完成之后，该节点的数据不会被清除。而是不会再同步master中的数据

4.查看当前节点是否主从

info replication

 

 

run_id与偏移量

1.run_id

run_id是redis 服务器的随机标识符，用于 sentinel 和集群，服务重启后就会改变；

当slave节点复制时发现和之前的 run_id 不同时，将会对数据进行全量同步。

查看runid

redis-cli -p 6379 info server | grep run
run_id:345dda992e5064bc80e01f96ea90f729b722b2ea

2.偏移量

通过对比主从节点的复制偏移量，可以判断主从节点数据是否一致。

• 参与复制的主从节点都会维护自身的复制偏移量。主节点（master）在处理完写命令后，会把命令的字节长度做累加记录，统计信息在info replication中的master_repl_offset指标中。

• 从节点每秒上报自身的复制偏移量给主节点，因此主节点也会保存从节点的复制偏移量

• 从节点在接收到主节点发送的命令后，也会累加记录自身的偏移量。统计在info replication中的slave_repl_offset指标中

 

 

全量复制

一、全量复制流程

1.slave -> master : psync ? -1

• ? 代表当前slave节点不知道master节点的runid

• -1代表当前slave节点的偏移量为-1

2.master -> slave : +fullresync runid offset

• master通知slave节点需要进行全量复制

• runid：master发送自身节点的runid给slave节点

• offset：master发送自身节点的offset给slave节点

3.slave : save masterinfo

• slave节点保存master节点的相关信息（runid与偏移量）

4.master : bgsave

• master节点通过bgsave命令进行rdb操作

###5.master -> slave : send rdb

• master将bgsave完的rdb结果发送给slave节点

6.master -> slave : send buffer

• master在执行写操作时，会将写命令写入repl_back_buffer中

• 为了维护bgsave过程中执行的写操作命令，并同步给slave，master将期间的buffer发送给slave。

7.slave : flush old data

• slave节点将之前的数据全部清空

8.load rdb

• slave节点加载rdb

 

 

二、全量复制的开销

• bgsave时间

• rdb文件网络传输时间

• slave节点清空数据时间

• slave节点加载rdb的时间

• 可能的aof重写时间，当加载完rdb之后，如果开启了aof重写，需要重写aof，以保证aof最新

三、全量复制的高版本优化

在redis4.0中，优化了psync，简称psync2，实现了即使redis实例重启的情况下也能实现部分同步

 

 

部分复制

一、部分复制流程

1.slave -> master : connection lost

• 由于网络抖动等原因，slave对master的网络连接发生中断

2.slave -> master : connection to master

• slave重新建立与master节点的连接

3.slave -> master : psync runid offset

• slave节点发送master节点的runid以及自身的offset

4.master -> slave ：continue

• 在第③步中，master节点校验offset，在当前buffer的范围中，则将反馈从节点continue表示部分复制。

• 如果offset不在当前buffer的范围中，则将反馈从节点fullresync表示需要全量复制

• buffer的大小默认为1mb，由repl_back_buffer维护

5.master -> slave : send partial data

• 发送部分数据给slave节点让slave节点完成部分复制

 

 

故障处理

一、slave宕机故障

• 会影响redis服务的整体读性能，对系统可用性没有影响，将slave节点重新启动并执行slaveof即可。

• 

   

  

二、master宕机故障

• redis将无法执行写请求，只有slave节点能执行读请求，影响了系统的可用性

• 方法1：

  • 随机找一个节点，执行slaveof no one，使其成为master节点

  • 然后对其他slave节点执行slaveof newmatserip newmasterport

• 方法2：

  • 马上重启master节点，它将会重新成为master

 

 

开发与运维中的问题

一、读写分离

• 含义：master只承担写请求，读请求分摊到slave节点执行

• 可能遇到的问题

  • 复制数据延迟

    • 当写操作从master同步到slave的时候，会有很短的延迟

    • 当网络原因或者slave阻塞时，会有比较长的延迟

    • 在这种情况下，可以通过配置一个事务中的读写都在主库得已实现

    • 可以通过偏移量对这类问题进行监控

  • 读到过期数据（在v3.2中已经解决）

    • 删除过期数据的策略1：操作key的时候校验该key是否过期，如果已经过期，则删除

    • 删除过期数据的策略2：redis内部有一个定时任务定时检查key有没有过期，如果采样的速度比不上过期数据的产生速度，会导致很多过期数据没有被删除。

    • 在redis集群中，有一个约定，slave节点只能读取数据，而不能操作数据

  • 从节点故障

二、配置不一致

• maxmemory不一致：可能会丢失数据

  • 例如master配置为4g，从节点配置为2g。

• 数据结构优化参数（例如hash-max-ziplist-entries)：导致内存不一致

三、规避全量复制

• 第一次全量复制

  • 第一次不可避免

  • 小主节点(数据分片)，低峰处理（夜间）

• 节点运行id不匹配

  • 主节点重启（运行id变化）

  • 可以使用故障转移进行处理，例如哨兵或集群。

• 复制积压缓冲区不足

  • 如果offset在缓冲区之内，则可以完成部分复制，否则需要全量复制

  • 可以增大复制缓冲区的大小：rel_backlog_size，默认1m，可以提升为10mb

四、规避复制风暴

1.单主节点复制风暴

• 问题：主节点重启，多从节点复制

• 解决：更换复制拓扑，由(m-s1,s2,s3)的模式改成（m-s1-s1a,s1b)的模式，可以减轻master的压力

       

 

2.单机器复制风暴

• 如下图：机器宕机后，大量全量复制

• 解决：主节点分散多机器

•