从零开始搭建MySQL MMM架构

云平台是个好东西，mysql-mmm的典型配置是需要五台机器，一台作为mmm admin，两台master，两台slave。一下子找五台机器真不容易，何况还要安装同样的操作系统。而有了cloud，简单几步就有了完备的实验环境：四台数据库服务器和一台管理服务器（memory：8g，cpu：2g，disk：128g，64bit rhel6）。在此，向为付出辛劳搭建云平台的同事们表示由衷的感谢:-)下面言归正传，开始全新的mysql mmm之旅。

下面要配置的mysql cluster环境包含四台数据库服务器和一台管理服务器，如下：

function	ip	server name	server id
monitor	192.168.84.174	-	-
master	192.168.85.167	db1	1
master	192.168.85.169	db2	2
slave	192.168.85.171	db3	3
slave	192.168.85.168	db4	4

配置完成后，使用下面的虚拟ip访问mysql cluster

ip	role
192.168.85.200	writer
192.168.85.201	reader
192.168.85.202	reader
192.168.85.203	reader

 一、配置mysql relication

1. 安装mysql

通过yum命令直接安装了mysql5.1.52。

2. 修改配置文件/etc/my.cnf

要将添加的内容放在配置文件的[mysqld]部分，如下：

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql

#下面为新添加的内容
default-storage-engine = innodb

replicate-ignore-db = mysql
binlog-ignore-db    = mysql

server-id           = 1
log-bin             = /var/log/mysql/mysql-bin.log
log_bin_index       = /var/log/mysql/mysql-bin.log.index
relay_log           = /var/log/mysql/mysql-bin.relay
relay_log_index     = /var/log/mysql/mysql-bin.relay.index
expire_logs_days    = 10
max_binlog_size     = 100m
log_slave_updates   = 1

 注意：

1）server-id在每台服务器上的值都是不一样，在这里依次为1、2、3、4。
2）因为在这里把log文件配置到了/var/log/mysql下，而mysql默认的目录是在/var/lib/mysql，所以首先要新建mysql文件夹，然后用chown -r mysql.mysql mysql命令将mysql的所有者修改为用户mysql。其次要保证，mysql文件夹的权限755（即-rwxr-xr-x）。
如果没有修改权限和所有者，重启服务时就会在错误日志中出现找不到mysql-bin.log或者mysql-bin.log.index的错误（/usr/libexec/mysqld: file '/var/log/mysql/mysql-bin.log.index' not found (errcode: 13)）。

3. 重新启动mysql服务

在完成了对my.cnf的修改后，通过service mysqld restart重新启动mysql服务。在正确启动后，可以通过如下方式检查配置是否正确：

1）登录mysql，执行show master status，看是否有如下输出：

+------------------+----------+--------------+------------------+
| file             | position | binlog_do_db | binlog_ignore_db |
+------------------+----------+--------------+------------------+
| mysql-bin.000001 |      106 |              | mysql            |
+------------------+----------+--------------+------------------+

2）到/var/log/mysql目录下，看是否产生了类似mysql-bin.000001和mysql-bin.log.index的文件。

二、新建同步数据库需要的用户

使用mysql-mmm时一共需要三个用户: replication、mmm_agent和mmm_monitor（管理服务器上用来监控cluster状态的用户，所以可以限定只能从管理服务器登录）。使用下面三条命令新建这三个用户并分配相应的权限：

grant replication client                 on *.* to 'mmm_monitor'@'192.168.84.%' identified by 'monitor'; 
grant super, replication client, process on *.* to 'mmm_agent'@'192.168.85.%'   identified by 'agent'; 
grant replication slave                  on *.* to 'replication'@'192.168.85.%' identified by 'replication'; 

三、同步主从数据库
1. 从主数据库服务器导出当前数据库内容     

mysql> flush tables with read lock; 
mysql> show master status; 
+------------------+----------+--------------+------------------+ 
| file             | position | binlog_do_db | binlog_ignore_db | 
+------------------+----------+--------------+------------------+ 
| mysql-bin.000001 |      106 |              | mysql            | 
+------------------+----------+--------------+------------------+ 

注意保留上述信息，后面还会用到。另外，不要结束当前mysql控制台，重新打开一个窗口，导出数据库。

# mysqldump -uroot -proot --all-databases > db01_20111005.sql

释放锁

mysql> unlock tables; 

2. 将导出的sql文件导入到其他几台数据库服务器上。首先通过scp复制过去：

# scp db01_20111005.sql root@192.168.85.167:/root/ 

在其他几台服务其上导入改sql文件：

# mysql -uroot -proot < db01_20111005.sql 

3. 启动从数据库slave进程。

mysql> flush privileges;
query ok, 0 rows affected (0.00 sec)

mysql> change master to master_host='192.168.85.167', master_port=3306, master_user='replication',master_password='replication', master_log_file='mysql-bin.000001', master_log_pos=106;
query ok, 0 rows affected (0.07 sec)

mysql> start slave;
query ok, 0 rows affected (0.00 sec)

mysql> show slave status\g
*************************** 1. row ***************************
               slave_io_state: waiting for master to send event
                  master_host: 192.168.85.180
                  master_user: replication
                  master_port: 3306
                connect_retry: 60
              master_log_file: mysql-bin.000001
          read_master_log_pos: 106
               relay_log_file: mysql-bin.000003
                relay_log_pos: 251
        relay_master_log_file: mysql-bin.000001
             slave_io_running: yes
            slave_sql_running: yes
              replicate_do_db:
          replicate_ignore_db: mysql
           replicate_do_table:
       replicate_ignore_table:
      replicate_wild_do_table:
  replicate_wild_ignore_table:
                   last_errno: 0
                   last_error:
                 skip_counter: 0
          exec_master_log_pos: 106
              relay_log_space: 400
              until_condition: none
               until_log_file:
                until_log_pos: 0
           master_ssl_allowed: no
           master_ssl_ca_file:
           master_ssl_ca_path:
              master_ssl_cert:
            master_ssl_cipher:
               master_ssl_key:
        seconds_behind_master: 0
master_ssl_verify_server_cert: no
                last_io_errno: 0
                last_io_error:
               last_sql_errno: 0
               last_sql_error:
1 row in set (0.00 sec)

4. 将db02作为master，db01作为slave，重复1-3。

四、安装mmm

在管理服务器和数据库服务器上分别要运行mysql-mmm monitor和agent程序。下面分别安装：
 1. 安装监控程序
在管理服务器（192.168.84.174）上，执行下面命令：

# yum -y install mysql-mmm-monitor* 

与monitor依赖的所有文件也会随之安装，但是有一个例外perl-time-hires，所以还需要执行下面的命令：

# yum -y install perl-time-hires*

2. 安装代理程序

在数据库服务器上执行下面的命令：

# yum -y install mysql-mmm-agent* 

五、配置mmm

1. 编辑mmm_common.conf

完成安装后，所有的配置文件都放到了/etc/mysql-mmm/下面。管理服务器和数据库服务器上都要包含一个共同的文件mmm_common.conf，内容如下：

active_master_role      writer

<host default>
    cluster_interface       eth0

    pid_path                /var/run/mysql-mmm/mmm_agentd.pid
    bin_path                /usr/libexec/mysql-mmm/

    replication_user        replication
    replication_password    replication

    agent_user              mmm_agent
    agent_password          agent
</host>

<host db1>
    ip      192.168.85.167
    mode    master
    peer    db2
</host>

<host db2>
    ip      192.168.85.169
    mode    master
    peer    db1
</host>

<host db3>
    ip      192.168.85.171
    mode    slave
</host>

<host db4>
    ip      192.168.85.168
    mode    slave
</host>

<role writer>
    hosts   db1, db2
    ips     192.168.85.200
    mode    exclusive
</role>

<role reader>
    hosts   db2, db3, db4
    ips     192.168.85.201, 192.168.85.202, 192.168.85.203
    mode    balanced
</role>

可以在db1上编辑该文件后，通过scp命令分别复制到monitor、db2、db3和db4上。

2. 编辑mmm_agent.conf。在数据库服务器上，还有一个mmm_agent.conf需要修改，其内容是：

include mmm_common.conf

# the 'this' variable refers to this server.  proper operation requires
# that 'this' server (db1 by default), as well as all other servers, have the
# proper ip addresses set in mmm_common.conf.
this db1

最后一行的db1，在不同的数据库服务器上要分别改为db2、db3和db4，否则代理就会无法启动。

3. 编辑mmm_mon.confg。在管理服务器上，修改mmm_mon.conf文件，修改后内容为：

include mmm_common.conf

<monitor>
    ip                  192.168.84.174
    pid_path            /var/run/mysql-mmm/mmm_mond.pid
    bin_path            /usr/libexec/mysql-mmm
    status_path         /var/lib/mysql-mmm/mmm_mond.status
    ping_ips            192.168.85.167, 192.168.85.169, 192.168.85.171, 192.168.85.168
    auto_set_online     60

    # the kill_host_bin does not exist by default, though the monitor will
    # throw a warning about it missing.  see the section 5.10 "kill host
    # functionality" in the pdf documentation.
    #
    # kill_host_bin     /usr/libexec/mysql-mmm/monitor/kill_host
    #
</monitor>

<host default>
    monitor_user        mmm_monitor
    monitor_password    monitor
</host>

debug 0

六、启动mmm

1. 在数据库服务器上启动代理程序

# cd /etc/init.d/
# chkconfig mysql-mmm-agent on
# service mysql-mmm-agent start

2. 在管理服务器上启动监控程序

# cd /etc/init.d/
# chkconfig mysql-mmm-monitor on
# service mysql-mmm-monitor start

启动后，稍等几秒，可以通过mmm_control程序查看状态：

# mmm_control show
  db1(192.168.85.167) master/online. roles: writer(192.168.85.200)
  db2(192.168.85.169) master/online. roles: reader(192.168.85.202)
  db3(192.168.85.171) slave/online. roles: reader(192.168.85.203)
  db4(192.168.85.168) slave/online. roles: reader(192.168.85.201)

七、遇到两个问题

1. 监控程序服务器无法启动

在管理服务器上，一切都完成后，通过mmm_control查看状态，得到下面的错误信息：error: can't connect to monitor daemon! 通过编辑/etc/mysql-mmm/mmm_mon.conf文件将debug 0改为debug 1，打开监控程序的debug状态。重新启动监控程序（service mysql-mmm-monitor restart），就会看到详细的错误信息，找不到perl time hires库。执行yum -y install perl-time-hires*就可以解决。

2. 防火墙问题导致warning: agent on host db1 is not reachable.
控制台程序正确启动后，再次执行mmm_control show，却看到下面的输出：

# warning: agent on host db1 is not reachable
# warning: agent on host db2 is not reachable
# warning: agent on host db3 is not reachable
# warning: agent on host db4 is not reachable
  db1(192.168.85.167) master/online. roles:
  db2(192.168.85.169) master/online. roles:
  db3(192.168.85.171) slave/online. roles:
  db4(192.168.85.168) slave/online. roles:

再次打开debug，发现了下面的错误信息：

2011/10/07 13:38:45 debug sending command 'get_agent_status()' to db4 (192.168.85.167:9989)
2011/10/07 13:38:45 error the status of the agent on host 'db4' could not be determined (answer was: 0).

通过telnet 192.168.85.167 9989下面检查网络连接，得到了no route to host的错误信息。登录db1，通过setup程序里的firewall configuration关闭firewall（这不是一个好主意）。同样，关闭db2、db3和db4上的防火墙，再次重启监控程序，一切回到正常状态！

参考文章：

mysql mmm 官方安装文档
mmm manual