深度理解并实现mysql主从复制环境mysql5.7和centos7

程序员文章站 2024-03-21 18:49:28

...

环境介绍：

系统为centos7.0，mysql的版本为5.7

随着技术的发展，在实际的生产环境中，由单台MySQL数据库服务器不能满足实际的并发需求。此时数据库集群就很好的解决了这个问题了。采用MySQL分布式集群，能够搭建一个高并发、负载均衡的集群服务器。这里要实现一个一主一从的mysql数据库集群。一主多从原理类似。数据同步我们可以通过MySQL内部配置就可以轻松完成，主要有主从复制和主主复制。

其中主用来写数据，多个从服务器用来读操作。这样能够适当解决并发问题。

主要用途：

读写分离
在开发工作中，有时候会遇见某个sql 语句需要锁表，导致暂时不能使用读的服务，这样就会影响现有业务，使用主从复制，让主库负责写，从库负责读，这样，即使主库出现了锁表的情景，通过读从库也可以保证业务的正常运作。
数据实时备份，当系统中某个节点发生故障时，可以方便的故障切换
高可用HA
架构扩展
随着系统中业务访问量的增大，如果是单机部署数据库，就会导致I/O访问频率过高。有了主从复制，增加多个数据存储节点，将负载分布在多个从节点上，降低单机磁盘I/O访问的频率，提高单个机器的I/O性能。

常见对主从模式有一主一从，和一主多从还有多主一从（从5.7开始支持）、双主复制和级联复制。

实施起来简单并且有效，不仅可以实现HA，而且还能读写分离，进而提升集群的并发能力。

深度理解并实现mysql主从复制环境mysql5.7和centos7

双主复制：

深度理解并实现mysql主从复制环境mysql5.7和centos7

双主复制，也就是互做主从复制，每个master既是master，又是另外一台服务器的slave。这样任何一方所做的变更，都会通过复制应用到另外一方的数据库中

级联复制

深度理解并实现mysql主从复制环境mysql5.7和centos7

级联复制模式下，部分slave的数据同步不连接主节点，而是连接从节点。因为如果主节点有太多的从节点，就会损耗一部分性能用于replication，那么我们可以让3~5个从节点连接主节点，其它从节点作为二级或者三级与从节点连接，这样不仅可以缓解主节点的压力，并且对数据一致性没有负面影响。

原理：

MySQL主从复制涉及到三个线程，一个运行在主节点（log dump thread），其余两个(I/O thread, SQL thread)运行在从节点，如下图所示:

(1) 当主节点数据发生变化时 update、delete、insert操作。master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events）；
(2) slave将master的binary log events拷贝到它的中继日志(relay log)；
(3) slave重做中继日志中的事件，将改变反映它自己的数据。

深度理解并实现mysql主从复制环境mysql5.7和centos7

主节点 binary log dump 线程
当从节点连接主节点时，主节点会创建一个log dump 线程，用于发送bin-log的内容。在读取bin-log中的操作时，此线程会对主节点上的bin-log加锁，当读取完成，甚至在发动给从节点之前，锁会被释放。

从节点I/O线程
当从节点上执行`start slave`命令之后，从节点会创建一个I/O线程用来连接主节点，请求主库中更新的bin-log。I/O线程接收到主节点binlog dump 进程发来的更新之后，保存在本地relay-log中。

从节点SQL线程
SQL线程负责读取relay log中的内容，解析成具体的操作并执行，最终保证主从数据的一致性。

对于每一个主从连接，都需要三个进程来完成。当主节点有多个从节点时，主节点会为每一个当前连接的从节点建一个binary log dump 进程，而每个从节点都有自己的I/O进程，SQL进程。从节点用两个线程将从主库拉取更新和执行分成独立的任务，这样在执行同步数据任务的时候，不会降低读操作的性能。比如，如果从节点没有运行，此时I/O进程可以很快从主节点获取更新，尽管SQL进程还没有执行。如果在SQL进程执行之前从节点服务停止，至少I/O进程已经从主节点拉取到了最新的变更并且保存在本地relay日志中，当服务再次起来之后，就可以完成数据的同步。

要实施复制，首先必须打开Master 端的binary log（bin-log）功能，否则无法实现。
因为整个复制过程实际上就是Slave 从Master 端获取该日志然后再在自己身上完全顺序的执行日志中所记录的各种操作。如下图所示：

深度理解并实现mysql主从复制环境mysql5.7和centos7

复制的基本过程如下：

从节点上的I/O 进程连接主节点，并请求从指定日志文件的指定位置（或者从最开始的日志）之后的日志内容

主节点接收到来自从节点的I/O请求后，通过负责复制的I/O进程根据请求信息读取指定日志指定位置之后的日志信息，返回给从节点。返回信息中除了日志所包含的信息之外，还包括本次返回的信息的bin-log file 的以及bin-log position；从节点的I/O进程接收到内容后，将接收到的日志内容更新到本机的relay log中，并将读取到的binary log文件名和位置保存到master-info 文件中，以便在下一次读取的时候能够清楚的告诉Master“我需要从某个bin-log 的哪个位置开始往后的日志内容，请发给我”；（从节点配置）

Slave 的 SQL线程检测到relay-log 中新增加了内容后，会将relay-log的内容解析成在主节点上实际执行过的操作，并在本数据库中执行。

MySQL 主从复制模式

MySQL 主从复制默认是异步的模式。MySQL增删改操作会全部记录在binary log中，当slave节点连接master时，会主动从master处获取最新的bin log文件。并把bin log中的sql 记录到relay log。

异步模式（mysql async-mode）

异步模式如下图所示，这种模式下，主节点不会主动push bin log到从节点，这样有可能导致failover的情况下，也许从节点没有即时地将最新的bin log同步到本地。

深度理解并实现mysql主从复制环境mysql5.7和centos7

半同步模式(mysql semi-sync)

这种模式下主节点只需要接收到其中一台从节点的返回信息，就会commit；否则需要等待直到超时时间然后切换成异步模式再提交；这样做的目的可以使主从数据库的数据延迟缩小，可以提高数据安全性，确保了事务提交后，binlog至少传输到了一个从节点上，不能保证从节点将此事务更新到db中。性能上会有一定的降低，响应时间会变长。如下图所示

深度理解并实现mysql主从复制环境mysql5.7和centos7

注：半同步模式不是mysql内置的，从mysql 5.5开始集成，需要master 和slave 安装插件开启半同步模式。

全同步模式
全同步模式是指主节点和从节点全部执行了commit并确认才会向客户端返回成功。

binlog记录格式

MySQL 主从复制有三种方式：基于SQL语句的复制（statement-based replication，SBR），基于行的复制（row-based replication，RBR)，混合模式复制（mixed-based replication,MBR)。对应的binlog文件的格式也有三种：STATEMENT,ROW,MIXED。可以在my.cfg进行配置 #binlog_format = mixed

Statement-base Replication (SBR)就是记录sql语句在bin log中，Mysql 5.1.4 及之前的版本都是使用的这种复制格式。优点是只需要记录会修改数据的sql语句到binlog中，减少了binlog日质量，节约I/O，提高性能。缺点是在某些情况下，会导致主从节点中数据不一致（比如sleep(),now()等）。

Row-based Relication(RBR)是mysql master将SQL语句分解为基于Row更改的语句并记录在bin log中，也就是只记录哪条数据被修改了，修改成什么样。优点是不会出现某些特定情况下的存储过程、或者函数、或者trigger的调用或者触发无法被正确复制的问题。缺点是会产生大量的日志，尤其是修改table的时候会让日志暴增,同时增加bin log同步时间。也不能通过bin log解析获取执行过的sql语句，只能看到发生的data变更。

Mixed-format Replication(MBR)，MySQL NDB cluster 7.3 和7.4 使用的MBR。是以上两种模式的混合，对于一般的复制使用STATEMENT模式保存到binlog，对于STATEMENT模式无法复制的操作则使用ROW模式来保存，MySQL会根据执行的SQL语句选择日志保存方式。

GTID复制模式

在传统的复制里面，当发生故障，需要主从切换，需要找到binlog和pos点，然后将主节点指向新的主节点，相对来说比较麻烦，也容易出错。在MySQL 5.6里面，不用再找binlog和pos点，我们只需要知道主节点的ip，端口，以及账号密码就行，因为复制是自动的，MySQL会通过内部机制GTID自动找点同步。
多线程复制（基于库），在MySQL 5.6以前的版本，slave的复制是单线程的。一个事件一个事件的读取应用。而master是并发写入的，所以延时是避免不了的。唯一有效的方法是把多个库放在多台slave，这样又有点浪费服务器。在MySQL 5.6里面，我们可以把多个表放在多个库，这样就可以使用多线程复制。

基于GTID复制实现的工作原理
主节点更新数据时，会在事务前产生GTID，一起记录到binlog日志中。
从节点的I/O线程将变更的bin log，写入到本地的relay log中。
SQL线程从relay log中获取GTID，然后对比本地binlog是否有记录（所以MySQL从节点必须要开启binary log）。
如果有记录，说明该GTID的事务已经执行，从节点会忽略。
如果没有记录，从节点就会从relay log中执行该GTID的事务，并记录到bin log。
在解析过程中会判断是否有主键，如果没有就用二级索引，如果有就用全部扫描。

实现：

1.主库配置

#查看数据库状态
systemctl status mysqld
#停服务器
systemctl stop mysqld

#修改配置文件
vi /etc/my.cnf
#修改内容
[mysqld]
server-id=1
log-bin=mysql-bin
#解释：server-id服务的唯一标识（主从之间都必须不同）；log-bin启动二进制日志名称为mysql-bin

#重启
systemctl start mysqld

#登录
mysql -uroot -p

2.在主库中新添加一个从库的账号

#添加一个名称为repl，账号密码为repl123456，允许登录的从库ip为192.168.1.132的账号（%为任意ip）
mysql> CREATE USER 'repl'@'192.168.1.132' IDENTIFIED BY 'repl123456';
#题外话：如果提示密码太简单不复合策略加在前面加这句
mysql> set global validate_password_policy=0;

#给从库账号授权
mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'192.168.1.132';
#说明给repl一个从库复制的权限在这个192.168.1.132ip上

#查看主库的状态
mysql> SHOW MASTER STATUS
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |      619 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
#记住：File是二进制日志文件名，Position 是日志开始的位置。后面从库会用到 后面从库会用到 后面从库会用到

3.从库配置

#查看数据库状态
systemctl status mysqld
#停服务器
systemctl stop mysqld

#修改配置文件
vi /etc/my.cnf
#修改的内容
[mysqld]
server-id=2

#重启
systemctl start mysqld
#登录
mysql -uroot -p

#使用主库授权的账号
mysql> CHANGE MASTER TO
    -> MASTER_HOST='192.168.1.131',
    -> MASTER_USER='repl',
    -> MASTER_PASSWORD='repl123456',
    -> MASTER_LOG_FILE='mysql-bin.000001',
    -> MASTER_LOG_POS=619;
#说明：
#192.168.1.131：主库主机ip
#repl：主库授权的账号
#repl123456：主库授权账号密码
#mysql-bin.000001：主库日志文件名
#619：主库日志文件位置

#重启
systemctl reatart mysqld

深度理解并实现mysql主从复制环境mysql5.7和centos7

4.测试

在主库添加数据库，表，数据
检测从库是不是有同样操作。

从要有对应的库和表。否则出错

深度理解并实现mysql主从复制环境mysql5.7和centos7

主从相关命令：

#查看主库状态
Show master status

#查看从库状态
Show slave status
#启动从库
stop slave;

关于从库停机无法同步

从库停机修改配置，从起数据库之后，出现无法同步主库内容

#主库状态
mysql> SHOW MASTER STATUS;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000002 |      619 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+

#从库状态
mysql> show slave status\G 
...
Slave_IO_Running: Yes
Slave_SQL_Running: No
...
#正常情况下Slave_SQL_Running是Yes才对

解决方法：

#停止主从
mysql> stop slave;
#设置
mysql> SET GLOBAL SQL_SLAVE_SKIP_COUNTER=1; 
mysql> START SLAVE; 
#重新启动主从，从库断开期间那部分丢失的数据会自动同步过来的

问题2：

MySQL主从复制，启动slave时，出现下面报错：
mysql> start slave;
ERROR 1872 (HY000): Slave failed to initialize relay log info structure from the repository
深度理解并实现mysql主从复制环境mysql5.7和centos7

可以看到报错，原来是找不到./server246-relay-bin.index文件，找到原因所在了，由于我使用的是冷备份文件恢复的实例，在mysql库中的slave_relay_log_info表中依然保留之前relay_log的信息，所以导致启动slave报错。
mysql提供了工具用来删除记录：slave reset；
slave reset执行候做了这样几件事：
1、删除slave_master_info ，slave_relay_log_info两个表中数据；
2、删除所有relay log文件，并重新创建新的relay log文件；
3、不会改变gtid_executed 或者 gtid_purged的值

mysql> reset slave;
Query OK, 0 rows affected (0.01 sec)

mysql> change master to ......

mysql> start slave;
Query OK, 0 rows affected (0.00 sec)

参考：https://zhuanlan.zhihu.com/p/50597960

https://blog.csdn.net/csdn2193714269/article/details/78601101

https://blog.csdn.net/weixin_37998647/article/details/79950133

深度理解并实现mysql主从复制 环境mysql5.7和centos7

环境介绍：

主要用途：

原理：

实现：

关于从库停机无法同步