Mysql主从同步备份策略分享
程序员文章站
2023-12-16 08:54:52
环境:主从服务器上的mysql数据库版本同为5.1.34主机ip:192.168.0.1从机ip:192.168.0.2一. mysql主服务器配置1.编辑配置文...
环境:
主从服务器上的mysql数据库版本同为5.1.34
主机ip:192.168.0.1
从机ip:192.168.0.2
一.mysql 主服务器配置
1.编辑配置文件/etc/my.cnf
#确保有如下行
server-id= 1
log-bin=mysql-bin
binlog-do-db=mysql #需要备份的数据库名,如果备份多个数据库,重复设置这个选项即可
binlog-ignore-db=mysql #不需要备份的数据库名,如果备份多个数据库,重复设置这个选项即可
log-slave-updates#这个参数一定要加上,否则不会给更新的记录些到二进制文件里
slave-skip-errors#是跳过错误,继续执行复制操作
2.建立用户
mysql>grant replication slave on *.* to slave@192.168.0.2 identified by ‘111111′;
#grant replication slave on *.* to ‘用户名'@'主机' identified by ‘ 密码';
#可在slave上做连接测试: mysql -h 192.168.0.1 -u test -p
3.锁主库表
mysql>flush tables with read lock;
4.显示主库信息
记录file和position,从库设置将会用到
=====================
mysql>show master status;
+------------------+----------+--------------+------------------+
|file | position | binlog_do_db | binlog_ignore_db |
+------------------+----------+--------------+------------------+
|mysql-bin.000001 | 106 | | |
+------------------+----------+--------------+------------------+
5.另开一个终端,打包主库
cd/usr/local/mysql #mysql库目录
tarzcvf var.tar.gz var
============================
二.mysql从服务器配置
1、传输拿到主库数据包、解包
#cd /usr/local/mysql
#scp 192.168.0.1:/usr/local/mysql/var.tar.gz .
#tar zxvf var.tar.gz
2、查看修改var文件夹权限
#chown -r mysql:mysql var
3.编辑 /etc/my.cnf
server-id=2
log-bin=mysql-bin
master-host=192.168.0.1
master-user=slave
master-password=111111
master-port=3306
replicate-do-db=test #需要备份的数据库名
replicate-ignore-db=mysql#忽略的数据库
master-connect-retry=60#如果从服务器发现主服务器断掉,重新连接的时间差(秒)
log-slave-updates#这个参数一定要加上,否则不会给更新的记录些到二进制文件里
slave-skip-errors#是跳过错误,继续执行复制操作
4、验证连接master
#mysql -h192.168.0.1 -uslave -ppassword
mysql>show grants for slave@192.168.0.2;
5、在slave上设置同步
设置连接mastermaster_log_file 为主库的file,master_log_pos为主库的position
============================
mysql>slave stop;
mysql>change master to master_host='192.168.0.1',master_user='slave',master_password='111111',master_log_file='mysql-bin.000001',master_log_pos=106;
6、启动slave服务
mysql>slave start;
7、查看slave状态
mysql>show slave status\g;
其中slave_io_running 和 slave_sql_running 两列的值都为 "yes",表明 slave 的 i/o 和 sql 线程都在正常运行。
8、解锁主库表
mysql>unlock tables;
到此主从库搭建成功。可以在主库上插入数据测试同步是否正常。
--------------------------
附:一些错误信息的处理,主从服务器上的命令,及状态信息。
在从服务器上使用showslave status\g
slave_io_running,为no,
则说明io_thread没有启动,请执行startslave io_thread
slave_sql_running为no
则复制出错,查看last_error字段排除错误后执行startslave sql_thread
查看slave_io_state字段空 //复制没有启动
connectingto master//没有连接上master
waitingfor master to send event//已经连上
主服务器上的相关命令:
showmaster status
showslave hosts
showlogs
showbinlog events
purgelogs to 'log_name'
purgelogs before 'date'
resetmaster(老版本flush master)
setsql_log_bin=
从服务器上的相关命令:
slavestart
slavestop
slavestop io_thread //此线程把master段的日志写到本地
slavestart io_thread
slavestop sql_thread //此线程把写到本地的日志应用于数据库
slavestart sql_thread
resetslave
setglobal sql_slave_skip_counter
loaddata from master
showslave status(super,replication client)
changemaster to master_host=, master_port=,master_user=, master_password= //动态改变master信息
purgemaster [before 'date'] 删除master端已同步过的日志
6.3.1master 同步线程状态
以下列出了master的 binlog dump 线程 state 字段中最常见的几种状态。如果在master上没有 binlog dump 线程,那么同步就没有在运行。
也就是说,没有slave连接上来。
sendingbinlog event to slave
事件是由二进制日志构成,一个事件通常由更新语句加上其他信息。线程读取到一个事件并正发送到slave上。
finishedreading one binlog; switching to next binlog
读取完了一个二进制日志,正切换到下一个。
hassent all binlog to slave; waiting for binlog to be updated
已经读取完全部未完成更新日志,并且全部都发送到slave了。它处于空闲状态,正等待在master上执行新的更新操作以在二进制日志中产生新
的事件,然后读取它们。
waitingto finalize termination
当前线程停止了,这个时间很短。
6.3.2slave的i/o线程状态
以下列出了slave的i/o线程 state 字段中最常见的几种状态。从mysql 4.1.1 开始,这个状态在执行 show slave status 语句结果的
slave_io_state字段也会出现。这意味着可以只执行 show slave status 语句就能了解到更多的信息。
connectingto master
该线程证尝试连接到master上。
checkingmaster version
确定连接到master后出现的一个短暂的状态。
registeringslave on master
确定连接到master后出现的一个短暂的状态。
requestingbinlog dump
确定连接到master后出现的一个短暂的状态。该线程向master发送一个请求,告诉它要请求的二进制文件以及开始位置。
waitingto reconnect after a failed binlog dump request
如果二进制日志转储(binarylog dump) 请求失败了(由于连接断开),该线程在休眠时进入这个状态,并定期重连。重连的时间间隔由 --
master-connect-retry选项来指定。
reconnectingafter a failed binlog dump request
该线程正尝试重连到master。
waitingfor master to send event
已经连接到master,正等待它发送二进制日志。如果master闲置时,这个状态可能会持续较长时间,如果它等待超过 slave_read_timeout 秒
,就会发生超时。这时,它就会考虑断开连接,然后尝试重连。
queueingmaster event to the relay log
已经读取到一个事件,正把它拷贝到中继日志中以备sql线程处理。
waitingto reconnect after a failed master event read
读日志时发生错误(由于连接断开)。该线程在重连之前休眠 master-connect-retry 秒。
reconnectingafter a failed master event read
正尝试重连到master。当连接确定后,状态就变成 waiting for master to send event 。
waitingfor the slave sql thread to free enough relay log space
relay_log_space_limit的值非零,中继日志的大小总和超过这个值了。i/o线程等待sql线程先处理中继日志然后删除它们以释放足够的空间
。
waitingfor slave mutex on exit
当前线程停止了,这个时间很短。
6.3.3slave的sql线程状态
以下列出了slave的sql线程 state 字段中最常见的几种状态:
readingevent from the relay log
从中继日志里读到一个事件以备执行。
hasread all relay log; waiting for the slave i/o thread to update it
已经处理完中继日志中的全部事件了,正等待i/o线程写入更新的日志。
waitingfor slave mutex on exit
当前线程停止了,这个时间很短。
--------------
常见的一些问题:
一.从库slave启动问题
由于一些错误操作导致change master 和 slave 服务无法启动, 系统报错如下:
*****************************************************************
couldnot initialize master info structure; more error messages can be found in the mysql error log.
*****************************************************************
无法初始化masterinfo 结构,mysql错误日志记录了更详细的错误信息。
解决方法:
1、查看mysql错误日志,如:同步的上一个position是多少,很多情况下无法启动服务是由于mysql识别的同步始终停留在上一个position上。
2、查看master.info和relay-log.info,master.info 记录master相关信息,relay-log.info 记录当前同步日志信息。
3、停止myslq服务,删除master.info和relay-log.info。
4、启动mysql服务。
5、重新changemaster ,重新启动slave服务。
二.主从不能同步
showslave status;报错:error xxx dosn't exist
且showslave status\g:
slave_sql_running:no
seconds_behind_master:null
解决方法:
stopslave;
setglobal sql_slave_skip_counter =1 ;
startslave;
之后slave会和master去同步主要看 :
slave_io_running:yes
slave_sql_running:yes
seconds_behind_master是否为0,0就是已经同步了
2,还需要做的一些优化与监视:
showfull processlist; //查看mysql当前同步线程号
skip-name-resolve //跳过dns名称查询,有助于加快连接及同步的速度
max_connections=1000 //增大mysql的连接数目,(默认100)
max_connect_errors=100//增大mysql的错误连接数目,(默认10)
查看日志一些命令
1, show master status\g;
在这里主要是看log-bin的文件是否相同。
showslave status\g;
在这里主要是看:
slave_io_running=yes
slave_sql_running=yes
如果都是yes,则说明配置成功.
2,在master上输入showprocesslist\g;
mysql>show processlist\g
***************************1. row ***************************
id:2
user:root
host:localhost:32931
db:null
command:binlog dump
time:94
state:has sent all binlog to slave; waiting for binlog to
beupdated
info:null
如果出现command:binlog dump, 则说明配置成功.
stopslave #停止同步
startslave #开始同步,从日志终止的位置开始更新。
setsql_log_bin=0|1 #主机端运行,需要super权限,用来开停日志,随意开停,会造成主机从机数据不一致,造成错误
setglobal sql_slave_skip_counter=n # 客户端运行,用来跳过几个事件,只有当同步进程出现错误而停止的时候才可以执行。
resetmaster #主机端运行,清除所有的日志,这条命令就是原来的flush master
resetslave #从机运行,清除日志同步位置标志,并重新生成master.info
虽然重新生成了master.info,但是并不起用,最好,将从机的mysql进程重启一下,
loadtable tblname from master #从机运行,从主机端重读指定的表的数据,每次只能读取一个,受timeout时间限制,需要调整timeout时间。执行这个命令需要同步账号有 reload和super权限。以及对相应的库有select权限。如果表比较大,要增加net_read_timeout 和 net_write_timeout的值
loaddata from master #从机执行,从主机端重新读入所有的数据。执行这个命令需要同步账号有reload和super权限。以及对相应的库有select权限。如果表比较大,要增加net_read_timeout 和 net_write_timeout的值
changemaster to master_def_list #在线改变一些主机设置,多个用逗号间隔,比如
changemaster to
master_host='master2.mycompany.com',
master_user='replication',
master_password='bigs3cret'
master_pos_wait()#从机运行
showmaster status #主机运行,看日志导出信息
showslave hosts #主机运行,看连入的从机的情况。
showslave status (slave)
showmaster logs (master)
showbinlog events [ in 'logname' ] [ from pos ] [ limit [offset,] rows ]
purge[master] logs to 'logname' ; purge [master] logs before 'date'
showbinlog events; #查看主库二进制日志文件内容:
注意:
1.主辅库同步主要是通过二进制日志来实现同步的。
2.在启动辅库的时候必须先把数据同步,并删除日志目录下的:master.info文件。因为master.info记录了上次要连接主库的信息,如果不删除,即使my.cnf里进行了修改,也不起作用。因为读取的还是master.info文件里的信息。
主从服务器上的mysql数据库版本同为5.1.34
主机ip:192.168.0.1
从机ip:192.168.0.2
一.
1.编辑配置文件/etc/my.cnf
#
server-id
log-bin=mysql-bin
binlog-do-db=mysql
binlog-ignore-db=mysql
log-slave-updates
slave-skip-errors
2.建立用户
mysql>
#
#
3.锁主库表
mysql>
4.显示主库信息
记录file和position,从库设置将会用到
=====================
mysql>
+------------------+----------+--------------+------------------+
|
+------------------+----------+--------------+------------------+
|
+------------------+----------+--------------+------------------+
5.另开一个终端,打包主库
cd
tar
============================
二.mysql从服务器配置
1、传输拿到主库数据包、解包
#
#
#
2、查看修改var文件夹权限
#
3.编辑
server-id=2
log-bin=mysql-bin
master-host=192.168.0.1
master-user=slave
master-password=111111
master-port=3306
replicate-do-db=test
replicate-ignore-db=mysql
master-connect-retry=60
log-slave-updates
slave-skip-errors
4、验证连接master
#
mysql>
5、在slave上设置同步
设置连接master
============================
mysql>
mysql>
6、启动slave服务
mysql>
7、查看slave状态
mysql>
其中
8、解锁主库表
mysql>
到此主从库搭建成功。可以在主库上插入数据测试同步是否正常。
--------------------------
附:一些错误信息的处理,主从服务器上的命令,及状态信息。
在从服务器上使用show
slave_io_running,为no,
则说明io_thread没有启动,请执行start
slave_sql_running为no
则复制出错,查看last_error字段排除错误后执行start
查看slave_io_state字段空
connecting
waiting
主服务器上的相关命令:
show
show
show
show
purge
purge
reset
set
从服务器上的相关命令:
slave
slave
slave
slave
slave
slave
reset
set
load
show
change
purge
6.3.1
以下列出了master的
也就是说,没有slave连接上来。
sending
事件是由二进制日志构成,一个事件通常由更新语句加上其他信息。线程读取到一个事件并正发送到slave上。
finished
读取完了一个二进制日志,正切换到下一个。
has
已经读取完全部未完成更新日志,并且全部都发送到slave了。它处于空闲状态,正等待在master上执行新的更新操作以在二进制日志中产生新
的事件,然后读取它们。
waiting
当前线程停止了,这个时间很短。
6.3.2
以下列出了slave的i/o线程
slave_io_state
connecting
该线程证尝试连接到master上。
checking
确定连接到master后出现的一个短暂的状态。
registering
确定连接到master后出现的一个短暂的状态。
requesting
确定连接到master后出现的一个短暂的状态。该线程向master发送一个请求,告诉它要请求的二进制文件以及开始位置。
waiting
如果二进制日志转储(binary
master-connect-retry
reconnecting
该线程正尝试重连到master。
waiting
已经连接到master,正等待它发送二进制日志。如果master闲置时,这个状态可能会持续较长时间,如果它等待超过
,就会发生超时。这时,它就会考虑断开连接,然后尝试重连。
queueing
已经读取到一个事件,正把它拷贝到中继日志中以备sql线程处理。
waiting
读日志时发生错误(由于连接断开)。该线程在重连之前休眠
reconnecting
正尝试重连到master。当连接确定后,状态就变成
waiting
relay_log_space_limit
。
waiting
当前线程停止了,这个时间很短。
6.3.3
以下列出了slave的sql线程
reading
从中继日志里读到一个事件以备执行。
has
已经处理完中继日志中的全部事件了,正等待i/o线程写入更新的日志。
waiting
当前线程停止了,这个时间很短。
--------------
常见的一些问题:
一.从库slave启动问题
由于一些错误操作导致
*****************************************************************
could
*****************************************************************
无法初始化master
解决方法:
1、查看mysql错误日志,如:同步的上一个position是多少,很多情况下无法启动服务是由于mysql识别的同步始终停留在上一个position上。
2、查看master.info和relay-log.info,master.info
3、停止myslq服务,删除master.info和relay-log.info。
4、启动mysql服务。
5、重新change
二.主从不能同步
show
且show
slave_sql_running:
seconds_behind_master:
解决方法:
stop
set
start
之后slave会和master去同步
slave_io_running:
slave_sql_running:
seconds_behind_master是否为0,0就是已经同步了
2,还需要做的一些优化与监视:
show
skip-name-resolve
max_connections=1000
max_connect_errors=100
查看日志一些命令
1,
在这里主要是看log-bin的文件是否相同。
show
在这里主要是看:
slave_io_running=yes
slave_sql_running=yes
如果都是yes,则说明配置成功.
2,在master上输入show
mysql>
***************************
id:
user:
host:
db:
command:
time:
state:
be
info:
如果出现command:
stop
start
set
set
reset
reset
虽然重新生成了master.info,但是并不起用,最好,将从机的mysql进程重启一下,
load
load
change
change
master_host='master2.mycompany.com',
master_user='replication',
master_password='bigs3cret'
master_pos_wait()
show
show
show
show
show
purge
show
注意:
1.主辅库同步主要是通过二进制日志来实现同步的。
2.在启动辅库的时候必须先把数据同步,并删除日志目录下的:master.info文件。因为master.info记录了上次要连接主库的信息,如果不删除,即使my.cnf里进行了修改,也不起作用。因为读取的还是master.info文件里的信息。