使用GTID给Galera集群做数据库异步复制
一、为什么要做Galera集群异步复制
Galera集群解决了数据库高可用的问题,但是存在局限性,例如耗时的事务处理可能会导致集群性能急剧下降,甚至出现阻塞现象。而不幸的是,类似报表等业务需求就需要做数据大批量的数据查询操作,为了不影响Galera的集群效率,需要做数据异步复制,产生一个从库来适配耗时的数据操作需求。
由于Galera集群的特殊性,我们不能使用一般的主从复制来实现数据异步复制的要求。集群中每台mariadb都会单独的记录binlog,使得一般的主从配置只能获取到单台数据的变更事件,集群中的其它mariadb上如果有数据变更,无法同步到从库中。
根据GTID进行主从复制解决了这个问题,每个事务都存在唯一的ID,根据事务ID来同步不会受到数据库的限制,因为集群中的所有数据库节点使用的都是唯一的GTID。
二、安装xtrabackup
1、YUM安装,下载percona源:
yum install
2、开始安装
yum install percona-xtrabackup-24
三、备份数据
1、在主库上全量备份数据:
innobackupex --user=dbuser --passwor='dbpassword' /dir_for_backup
注意password参数,如果密码中有关键字符,需要使用单引号把密码引起来,否则无法登录mysql,无法备份数据。
2、在主库上进行全量备份后,需要应用事务到备份文件中才能使备份文件完整可用
Innobackupex --user=dbuser --password=’dbpassword’--apply-log /dir_for_backup /2018-07-12_10-39-56/
3、在主库上把备份好的数据文件传输到从库中
scp -r /DIR_FOR_BACKUP /2018-07-12_10-39-56/ slave_user@slave_server_ip:/slave_server_data_dir
四、从库启动
1、 在从库上修改数据文件名称,拥有者
mv /slave_server_data_dir/2018-07-12_10-39-56/ /slave_server_data_dir/mysqldata
chown -R mysql:mysql /slave_server_data_dir/mysqldata/
2、 在从库上启动数据库
配置好my.conf文件,指定datadir目录到/slave_server_data_dir/mysqldata,然后启动数据库。
五、主从配置
1、 Galera集群中的所有节点都需要做以下配置:
[mysqld]
master-info-repository=TABLE
relay-log-info-repository=TABLE
log_slave_updates = 1
sync-master-info=1
slave-parallel-threads=2
binlog-checksum=CRC32
master-verify-checksum=1
slave-sql-verify-checksum=1
binlog-rows-query-log_events=1
log-bin=mysql-bin
binlog_format=row
log_slave_updates = 1
server-id=4567
配置完成后重启服务器。
进入主库(Galera集群中的任一节点),授权主从复制用户:
GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO 'slaveUser'@'10.30.254.9' IDENTIFIED BY 'slaveUser';
2、 从库配置
[mysqld]
master-info-repository=TABLE
relay-log-info-repository=TABLE
log_slave_updates = 1
sync-master-info=1
slave-parallel-threads=2
binlog-checksum=CRC32
master-verify-checksum=1
slave-sql-verify-checksum=1
binlog-rows-query-log_events=1
#这是与主库配置不同的地方
relay_log = relay-bin
server_id=7890
log_bin=binlog
log_slave_updates=1
binlog_format=ROW
配置完成后重启从库数据库。
3、 设置从库GTID复制点信息
l 查看xtrabackup备份数据中的GTID信息
cat /slave_server_data_dir/mysqldata xtrabackup_info
uuid = ffa57fe6-8676-11e8-8b3a-00163e08d213
name =
tool_name = innobackupex
tool_command = --user=root --password=... /mnt
tool_version = 2.4.11
ibbackup_version = 2.4.11
server_version = 10.2.6-MariaDB-log
start_time = 2018-07-13 16:26:09
end_time = 2018-07-13 16:30:28
lock_time = 0
binlog_pos = filename 'mysql-bin.000019', position '82930255', GTID of the last change '0-4567-3446'
innodb_from_lsn = 0
innodb_to_lsn = 42353602070
partial = N
incremental = N
format = file
compact = N
compressed = N
encrypted = N
l 配置GTID主从复制
停止主从复制:STOP SLAVE;
重置主从配置:RESET SLAVE ALL;
设置GTID点:SET GLOBAL gtid_slave_pos='0-4567-3446';
配置主从配置:
CHANGE MASTER TO MASTER_HOST='10.30.253.222', MASTER_PORT=3306, MASTER_USER='slaveUser', MASTER_PASSWORD='slaveUser', master_use_gtid=slave_pos;
查看主从配置状态:SHOW SLAVE STATUS;
六、GTID同步出错时,如何恢复主从复制
异常信息:
Last_SQL_Error: Error 'Duplicate entry '4' for key 'PRIMARY'' on query. Default database: 'test'. Query: 'insert into t VALUES(NULL,'salazar')'
Retrieved_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-5
Executed_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-4
因为是GTID复制,所以set global sql_slave_skip_counter=N在这里是没有作用的,但是可以通过插入一个空的事务来解决问题:
STOP SLAVE;
SET GTID_NEXT="7d72f9b4-8577-11e2-a3d7-080027635ef5:5";
BEGIN; COMMIT;
SET GTID_NEXT="AUTOMATIC";
START SLAVE;
[...]
Retrieved_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-5
Executed_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-5
上一篇: 零基础学习AJAX之AJAX的简介和基础
下一篇: 2013福布斯中国富豪排行榜