欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

使用GTID给Galera集群做数据库异步复制

程序员文章站 2023-11-14 19:47:46
一、为什么要做Galera集群异步复制 Galera集群解决了数据库高可用的问题,但是存在局限性,例如耗时的事务处理可能会导致集群性能急剧下降,甚至出现阻塞现象。而不幸的是,类似报表等业务需求就需要做数据大批量的数据查询操作,为了不影响Galera的集群效率,需要做数据异步复制,产生一个从库来适配耗 ......

一、为什么要做Galera集群异步复制

Galera集群解决了数据库高可用的问题,但是存在局限性,例如耗时的事务处理可能会导致集群性能急剧下降,甚至出现阻塞现象。而不幸的是,类似报表等业务需求就需要做数据大批量的数据查询操作,为了不影响Galera的集群效率,需要做数据异步复制,产生一个从库来适配耗时的数据操作需求。

由于Galera集群的特殊性,我们不能使用一般的主从复制来实现数据异步复制的要求。集群中每台mariadb都会单独的记录binlog,使得一般的主从配置只能获取到单台数据的变更事件,集群中的其它mariadb上如果有数据变更,无法同步到从库中。

根据GTID进行主从复制解决了这个问题,每个事务都存在唯一的ID,根据事务ID来同步不会受到数据库的限制,因为集群中的所有数据库节点使用的都是唯一的GTID。

二、安装xtrabackup

1、YUM安装,下载percona源:

yum install

 

2、开始安装

yum install percona-xtrabackup-24

 

三、备份数据

1、在主库上全量备份数据:

innobackupex --user=dbuser --passwor='dbpassword' /dir_for_backup

注意password参数,如果密码中有关键字符,需要使用单引号把密码引起来,否则无法登录mysql,无法备份数据。

 

2、在主库上进行全量备份后,需要应用事务到备份文件中才能使备份文件完整可用

Innobackupex --user=dbuser --password=’dbpassword’--apply-log /dir_for_backup /2018-07-12_10-39-56/

 

3、在主库上把备份好的数据文件传输到从库中

scp -r /DIR_FOR_BACKUP /2018-07-12_10-39-56/ slave_user@slave_server_ip:/slave_server_data_dir

 

四、从库启动

1、 在从库上修改数据文件名称,拥有者

mv /slave_server_data_dir/2018-07-12_10-39-56/ /slave_server_data_dir/mysqldata

chown -R mysql:mysql /slave_server_data_dir/mysqldata/

 

2、 在从库上启动数据库

配置好my.conf文件,指定datadir目录到/slave_server_data_dir/mysqldata,然后启动数据库。

 

五、主从配置

1、 Galera集群中的所有节点都需要做以下配置:

[mysqld]

master-info-repository=TABLE

relay-log-info-repository=TABLE

log_slave_updates = 1

sync-master-info=1

slave-parallel-threads=2

binlog-checksum=CRC32

master-verify-checksum=1

slave-sql-verify-checksum=1

binlog-rows-query-log_events=1

 

log-bin=mysql-bin

binlog_format=row

log_slave_updates = 1

server-id=4567

 

配置完成后重启服务器。

进入主库(Galera集群中的任一节点),授权主从复制用户:

GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO 'slaveUser'@'10.30.254.9' IDENTIFIED BY 'slaveUser';

 

2、 从库配置

[mysqld]

master-info-repository=TABLE

relay-log-info-repository=TABLE

log_slave_updates = 1

sync-master-info=1

slave-parallel-threads=2

binlog-checksum=CRC32

master-verify-checksum=1

slave-sql-verify-checksum=1

binlog-rows-query-log_events=1

 

#这是与主库配置不同的地方

relay_log = relay-bin

server_id=7890

 

log_bin=binlog

log_slave_updates=1

binlog_format=ROW

 

配置完成后重启从库数据库。

 

3、 设置从库GTID复制点信息

l  查看xtrabackup备份数据中的GTID信息

cat /slave_server_data_dir/mysqldata xtrabackup_info

uuid = ffa57fe6-8676-11e8-8b3a-00163e08d213

name =

tool_name = innobackupex

tool_command = --user=root --password=... /mnt

tool_version = 2.4.11

ibbackup_version = 2.4.11

server_version = 10.2.6-MariaDB-log

start_time = 2018-07-13 16:26:09

end_time = 2018-07-13 16:30:28

lock_time = 0

binlog_pos = filename 'mysql-bin.000019', position '82930255', GTID of the last change '0-4567-3446'

innodb_from_lsn = 0

innodb_to_lsn = 42353602070

partial = N

incremental = N

format = file

compact = N

compressed = N

encrypted = N

 

l  配置GTID主从复制

停止主从复制:STOP SLAVE;

重置主从配置:RESET SLAVE ALL;

设置GTID点:SET GLOBAL gtid_slave_pos='0-4567-3446';

配置主从配置:

CHANGE MASTER TO MASTER_HOST='10.30.253.222', MASTER_PORT=3306, MASTER_USER='slaveUser', MASTER_PASSWORD='slaveUser', master_use_gtid=slave_pos;

查看主从配置状态:SHOW SLAVE STATUS;

 

六、GTID同步出错时,如何恢复主从复制

异常信息:

Last_SQL_Error: Error 'Duplicate entry '4' for key 'PRIMARY'' on query. Default database: 'test'. Query: 'insert into t VALUES(NULL,'salazar')'

Retrieved_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-5

Executed_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-4

 

因为是GTID复制,所以set global sql_slave_skip_counter=N在这里是没有作用的,但是可以通过插入一个空的事务来解决问题:

STOP SLAVE;

SET GTID_NEXT="7d72f9b4-8577-11e2-a3d7-080027635ef5:5";

BEGIN; COMMIT;

SET GTID_NEXT="AUTOMATIC";

START SLAVE;

[...]

Retrieved_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-5

Executed_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-5