redis系列之------主从复制

什么是主从复制

redis的主从复制机制是指可以让从服务器(slave)能精确复制主服务器(master)的数据，如下图所示：

 

         

或者   

       

 

主从复制的方式和工作原理

工作方式：

redis主从复制主要有两种模式：完整重同步（full resynchronization）和部分重同步（partial resynchronization）

• 其中完整重同步用于处理初次复制情况：完整重同步的执行步骤和sync命令的执行步骤基本一样，它们都是通过让主服务器创建并发送rdb文件，以及向从服务器发送保存在缓冲区里面的写命令来进行同步；

• 而部分重同步则用于处理断线后重复制情况：当从服务器在断线后重新连接主服务器时，如果条件允许，主服务器可以将主从服务器连接断开期间执行的写命令发送给从服务器，从服务器只要接收并执行这些写命令，就可以将数据库更新至主服务器当前所处的状态。

完整同步机制，我们非常好理解。比如从机首次连接到主机后，那么就是完整同步了。此时主机把rdb文件打包发送给从机，从机同步即可。

如果在此期间，主机源源不断的有新的命令，那么全部放入到缓冲区中，然后进行部分同步，将缓冲区里面的数据发送给从机即可。

部分同步还有一种使用情况就是，网络不稳定，断了之后，从机和主机的同步。也是用到了部分同步机制。

 

原理：

部分重同步功能由以下三个部分构成：

• 主服务器的复制偏移量（replication offset）和从服务器的复制偏移量；
• 主服务器的复制积压缓冲区（replication backlog）；
• 服务器的运行id（run id）。

 

复制偏移量

执行复制的双方——主服务器和从服务器会分别维护一个复制偏移量：

• 主服务器每次向从服务器传播n个字节的数据时，就将自己的复制偏移量的值加上n；
• 从服务器每次收到主服务器传播来的n个字节的数据时，就将自己的复制偏移量的值加上n；

通过对比主从服务器的复制偏移量，程序可以很容易地知道主从服务器是否处于一致状态：

• 如果主从服务器处于一致状态，那么主从服务器两者的偏移量总是相同的；
• 相反，如果主从服务器两者的偏移量并不相同，那么说明主从服务器并未处于一致状态。

如下面的情况：

 

复制积压缓冲区

如果发现偏移量不一样，那么就会需要用到缓冲区了。

复制积压缓冲区是由主服务器维护的一个固定长度（fixed-size）先进先出（fifo）队列，默认大小为1mb。

当主服务器进行命令传播时，它不仅会将写命令发送给所有从服务器，还会将写命令入队到复制积压缓冲区里面，如图所示。

 

当从服务器重新连上主服务器时，从服务器会通过psync命令将自己的复制偏移量offset发送给主服务器，主服务器会根据这个复制偏移量来决定对从服务器执行何种同步操作：

• 如果offset偏移量之后的数据（也即是偏移量offset+1开始的数据）仍然存在于复制积压缓冲区里面，那么主服务器将对从服务器执行部分重同步操作；
• 相反，如果offset偏移量之后的数据已经不存在于复制积压缓冲区，那么主服务器将对从服务器执行完整重同步操作。

 

服务器运行id

除了复制偏移量和复制积压缓冲区之外，实现部分重同步还需要用到服务器运行id（run id）：

• 每个redis服务器，不论主服务器还是从服务，都会有自己的运行id；
• 运行id在服务器启动时自动生成，由40个随机的十六进制字符组成，例如53b9b28df8042fdc9ab5e3fcbbbabff1d5dce2b3；