DM8 datawatch4.0读写分离集群部署
程序员文章站
2024-03-24 14:17:34
...
DM8 datawatch4.0读写分离集群部署
本篇主要是集群部署配置，关于更详细的说明可以参考官方文档：《DM8_Data_Watch_And_Read_Write_Shunt_V4.0》
此次环境为1主1备读写分离集群搭建部署，1主多备的环境与1主1备的环境部署没有太大差别。
1主多备环境，需要在dmarch.ini，dmmal.ini中 添加相应备库信息。
一、环境规划
1.1 环境说明
组名为”GRP1”，主库命名为：”GRP1_DM_DW01”，备库命名为：”GRP1_DM_DW02”
| 主机类型 | IP Addr | 实例名 | 操作系统 |
|---|---|---|---|
| 主库 | 192.168.12.12 | GRP1_DM_DW01 | NeoKylin Linux Advanced Server 6 |
| 备库库 | 192.168.12.11 | GRP1_DM_DW02 | NeoKylin Linux Advanced Server 6 |
| 主库 | 192.168.12.10 | - | NeoKylin Linux Advanced Server 6 |
关于IP配置，可以只使用1个IP进行对外和集群间的通信。也可以单独配置集群的通信IP
1.2 端口规划
| 实例名 | PORT_NUM | MAL_INST_DW_PORT | MAL_HOST | MAL_PORT | MAL_DW_PORT |
|---|---|---|---|---|---|
| GRP1_DM_DW01 | 5236 | 5338 | 192.168.12.11 | 5438 | 5538 |
| GRP1_DM_DW02 | 5236 | 5338 | 192.168.12.12 | 5438 | 5538 |
二、软件安装
2.1 主备操作系统配置
参考《DM笔记之安装1：DM7 For NeoKylin A6》
https://www.cndba.cn/LeeWen2020/article/4151
2.2 主备服务器数据库软件安装
[aaa@qq.com opt]# mount -o loop dm8_setup_rh6_64_ent_8.1.1.72_20200403.iso /mnt/
[aaa@qq.com ~]# su - dmdba
[aaa@qq.com ~]$ mkdir tmp
[aaa@qq.com ~]$ export DM_INSTALL_TMPDIR=/home/dmdba/tmp
[aaa@qq.com ~]$ cd /mnt/
[aaa@qq.com mnt]$ ./DMInstall.bin
或者可以使用./DMInstall.bin -i 命令行方式安装，同样简单方便。
[aaa@qq.com ~]# /dm8/dmdbms/script/root/root_installer.sh
移动 /dm8/dmdbms/bin/dm_svc.conf 到/etc目录
修改服务器权限
创建DmAPService服务
移动服务脚本文件(/dm8/dmdbms/bin/DmAPService 到 /etc/rc.d/init.d/DmAPService)
创建服务(DmAPService)完成
启动DmAPService服务
Starting DmAPService: [ OK ]
三、主备库实例初始化
根据官方文档《DM8_Data_Watch_And_Read_Write_Shunt_V4.0》 7.1 小节说明：
对于新初始化的库，首次启动不允许使用 Mount 方式，需要先正常启动并正常退出，然后才允许 Mount 方式启动。
准备数据时，如果主库是新初始化的库，先正常启动并正常退出，然后再使用备份还原方式准备备库数据。
3.1 创建主库
[aaa@qq.com bin]$ ./dminit PATH=/dm8/data DB_NAME=DWTEST INSTANCE_NAME=GRP1_DM_DW01 PORT_NUM=5238
注意：此处初始化SYSDBA密码等其他选项均为默认值
需要使用dmserver正常启动数据库完成初始化。
根据官方文档《DM8_Data_Watch_And_Read_Write_Shunt_V4.0》 7.1 小节说明，
对于新初始化的库需要先正常启动并正常退出，然后才允许mount方式启动。
[aaa@qq.com bin]$ ./dmserver /dm8/data/DWTEST/dm.ini
file dm.key not found, use default license!
version info: develop
Use normal os_malloc instead of HugeTLB
Use normal os_malloc instead of HugeTLB
DM Database Server x64 V8 1-1-72-20.04.03-119959-ENT startup...
Database mode = 0, oguid = 0
License will expire on 2021-04-03
file lsn: 0
ndct db load finished
ndct fill fast pool finished
iid page's trxid[1002]
NEXT TRX ID = 1003
pseg_collect_items, collect 0 active_trxs, 0 cmt_trxs, 0 pre_cmt_trxs, 0 active_pages, 0 cmt_pages, 0 pre_cmt_pages
pseg_process_collect_items end, 0 active trx, 0 active pages, 0 committed trx, 0 committed pages
total 0 active crash trx, pseg_crash_trx_rollback begin ...
pseg_crash_trx_rollback end
purg2_crash_cmt_trx end, total 0 page purged
set EP[0]'s pseg state to inactive
pseg recv finished
nsvr_startup end.
aud sys init success.
aud rt sys init success.
trx: 2004 purged 1 pages
trx: 2023 purged 1 pages
....
....
systables desc init success.
ndct_db_load_info success.
nsvr_process_before_open begin.
nsvr_process_before_open success.
total 0 active crash trx, pseg_crash_trx_rollback begin ...
pseg_crash_trx_rollback end
SYSTEM IS READY.
3.2 注册服务并启动实例
[aaa@qq.com root]# pwd
/dm8/dmdbms/script/root
[aaa@qq.com root]# ./dm_service_installer.sh -t dmserver -dm_ini /dm8/data/DWTEST/dm.ini -p DWTEST
移动服务脚本文件(/dm8/dmdbms/bin/DmServiceDWTEST 到 /etc/rc.d/init.d/DmServiceDWTEST)
创建服务(DmServiceDWTEST)完成
[aaa@qq.com root]# service DmServiceDWTEST start
Starting DmServiceDWTEST: [ OK ]
3.3 创建备库实例
[aaa@qq.com ~]$ cd $DM_HOME/bin
[aaa@qq.com bin]$ ./dminit PATH=/dm8/data DB_NAME=DWTEST INSTANCE_NAME=GRP1_DM_DW02 PORT_NUM=5238
initdb V8
db version: 0x7000a
file dm.key not found, use default license!
License will expire on 2021-04-03
log file path: /dm8/data/DWTEST/DWTEST01.log
log file path: /dm8/data/DWTEST/DWTEST02.log
write to dir [/dm8/data/DWTEST].
create dm database success. 2020-05-05 19:32:57
[aaa@qq.com bin]$ ./dmserver /dm8/data/DWTEST/dm.ini
四、配置主备库
4.1 配置主库参数文件
DM DataWatch 2.1版本参数和 4.0版本的参数配置有些区别。
具体可以参考《DM8_Data_Watch_And_Read_Write_Shunt_V4.0》和《DM8_Data_Watch_And_Read_Write_Shunt_V2.1》
4.1.1 配置dm.ini
在主库机器上配置主库的实例名为 GRP1_DM_DW01， dm.ini 参数修改如下：
#实例名，总长度不能超过 16
INSTANCE_NAME = GRP1_RWW_01
PORT_NUM = 5236 #数据库实例监听端口
DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间
ALTER_MODE_STATUS = 0 #不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2 #不允许备库OFFLINE表空间
MAL_INI = 1 #打开MAL系统
ARCH_INI = 1 #打开归档配置
RLOG_SEND_APPLY_MON = 64 #统计最近64次的日志发送信息
4.1.2 配置dmmal.ini
配置 MAL 系统，各主备库的 dmmal.ini 配置必须完全一致， MAL_HOST 使用内部网络 IP，MAL_PORT 与 dm.ini 中 PORT_NUM 使用不同的端口值， MAL_DW_PORT 是各实例对应的守护进程之间，以及守护进程和监视器之间的通信端口，配置如下：
vi dmmal.ini
MAL_CHECK_INTERVAL = 5 #MAL链路检测时间间隔
MAL_CONN_FAIL_INTERVAL = 5 #判定MAL链路断开的时间
[MAL_INST1]
MAL_INST_NAME = GRP1_RWW_01 #实例名，和dm.ini中的INSTANCE_NAME一致
MAL_HOST = 192.168.12.12 #MAL系统监听TCP连接的IP地址
MAL_PORT = 5438 #MAL系统监听TCP连接的端口
MAL_INST_HOST = 192.168.12.12 #实例的对外服务IP地址
MAL_INST_PORT = 5236 #实例的对外服务端口，和dm.ini中的PORT_NUM一致
MAL_DW_PORT = 5538 #实例对应的守护进程监听TCP连接的端口
MAL_INST_DW_PORT = 5338 #实例监听守护进程TCP连接的端口
[MAL_INST2]
MAL_INST_NAME = GRP1_RWW_02
MAL_HOST = 192.168.12.11
MAL_PORT = 5438
MAL_INST_HOST = 192.168.12.11
MAL_INST_PORT = 5236
MAL_DW_PORT = 5538
MAL_INST_DW_PORT = 5338
4.1.3 配置dmarch.ini
dmarch.ini，配置本地归档和即时归档。
除了本地归档外，其他归档配置项中的ARCH_DEST表示实例是Primary模式时，
需要同步归档数据的目标实例名。
当前实例GRP1_RWW_01是主库，需要向即时备库GRP1_RWW_02同步数据，
因此即时归档的ARCH_DEST配置为GRP1_RWW_02。
vi dmarch.ini
[ARCHIVE_TIMELY1]
ARCH_TYPE = TIMELY #即时归档类型
ARCH_DEST = GRP1_RWW_02 #即时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /dm8/data/DAMENG/arch #本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位Mb，本地单个归档文件最大值
ARCH_SPACE_LIMIT = 2048 #单位Mb，0表示无限制，范围1024~4294967294M
4.1.4 配置dmwatcher.ini
配置守护进程，配置为全局守护类型，使用自动切换模式。
vi dmwatcher.ini
[GRP1]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 453332 #守护系统唯一OGUID值
INST_INI = /dm8/data/DAMENG/dm.ini #dm.ini配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /dm8/dmdbms/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阀值，默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阀值，默认关闭
4.1.5 备份主库数据库并拷贝到备库
DM DataWatch4.0 必须先通过备份还原方式来对各备库进行初始化。可以采用联机备份也可以采用脱机备份。这里采用rman脱机备份。备份之前检查dmap是否已启动，需启动dmap。
cd $DM_HOME/bin
./dmrman CTLSTMT="BACKUP DATABASE '/dm8/data/DAMENG/dm.ini' FULL BACKUPSET '/dm8/dmbak/bak01'"
拷贝至备库服务器
cd /dm8/dmbak/
scp -r bak01 192.168.12.11:/dm8/dmbak
4.1.6 启动主库到mount状态
./dmserver /dm8/data/DWTEST/dm.ini mount
4.1.7 设置主库OGUID并修改数据库模式
---设置所有主库的OGUID
SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
sp_set_oguid(453332); ---与dmmal.ini中INST_OGUID相同
SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
---修改主库模式
alter database primary;
4.2 配置备库参数文件
备库参数文件只需要主库调整dm.ini 的实例名以及dmarch.ini中的实例名。
4.2.1 配置dm.ini
在主库机器上配置主库的实例名为 GRP1_DM_DW01， dm.ini 参数修改如下：
INSTANCE_NAME = GRP1_RWW_02
PORT_NUM = 5236 #数据库实例监听端口
DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间
ALTER_MODE_STATUS = 0 #不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2 #不允许备库OFFLINE表空间
MAL_INI = 1 #打开MAL系统
ARCH_INI = 1 #打开归档配置
RLOG_SEND_APPLY_MON = 64 #统计最近64次的日志发送信息
4.2.2 配置dmmal.ini
配置 MAL 系统，各主备库的 dmmal.ini 配置必须完全一致， MAL_HOST 使用内部网络 IP， MAL_PORT 与 dm.ini 中 PORT_NUM 使用不同的端口值， MAL_DW_PORT 是各实例对应的守护进程之间，以及守护进程和监视器之间的通信端口，配置如下：
MAL_CHECK_INTERVAL = 5 #MAL链路检测时间间隔
MAL_CONN_FAIL_INTERVAL = 5 #判定MAL链路断开的时间
[MAL_INST1]
MAL_INST_NAME = GRP1_RWW_01 #实例名，和dm.ini中的INSTANCE_NAME一致
MAL_HOST = 192.168.12.12 #MAL系统监听TCP连接的IP地址
MAL_PORT = 5438 #MAL系统监听TCP连接的端口
MAL_INST_HOST = 192.168.12.12 #实例的对外服务IP地址
MAL_INST_PORT = 5236 #实例的对外服务端口，和dm.ini中的PORT_NUM一致
MAL_DW_PORT = 5538 #实例对应的守护进程监听TCP连接的端口
MAL_INST_DW_PORT = 5338 #实例监听守护进程TCP连接的端口
[MAL_INST2]
MAL_INST_NAME = GRP1_RWW_02
MAL_HOST = 192.168.12.11
MAL_PORT = 5438
MAL_INST_HOST = 192.168.12.11
MAL_INST_PORT = 5236
MAL_DW_PORT = 5538
MAL_INST_DW_PORT = 5338
4.2.3 配置dmarch.ini
即时归档目标实例为GRP1_RWW_01
[ARCHIVE_TIMELY1]
ARCH_TYPE = TIMELY #即时归档类型
ARCH_DEST = GRP1_RWW_01 #即时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /dm8/data/DAMENG/arch #本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位Mb，本地单个归档文件最大值
ARCH_SPACE_LIMIT = 2048 #单位Mb，0表示无限制，范围1024~4294967294M
4.2.4 配置dmwatcher.ini
dmwatcher.ini配置守护进程，配置为全局守护类型，使用自动切换模式。可以直接从主库拷贝。
[GRP1]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 453332 #守护系统唯一OGUID值
INST_INI = /dm8/data/DAMENG/dm.ini #dm.ini配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /dm8/dmdbms/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阀值，默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阀值，默认关闭
4.2.5 备库数据初始化
备库处于关闭状态，使用rman进行脱机恢复。恢复之前检查dmap是否已启动，需启动dmap。
恢复语句：
./dmrman CTLSTMT="RESTORE DATABASE '/dm8/data/DWTEST/dm.ini' FROM BACKUPSET '/dm8/dmbak/bak01'"
./dmrman CTLSTMT="RECOVER DATABASE '/dm8/data/DWTEST/dm.ini' FROM BACKUPSET '/dm8/dmbak/bak01'"
./dmrman CTLSTMT="RECOVER DATABASE '/dm8/data/DWTEST/dm.ini' UPDATE DB_MAGIC"
------------------------------------------------------------------------------------------
[aaa@qq.com bin]$ ./dmrman CTLSTMT="RESTORE DATABASE '/dm8/data/DWTEST/dm.ini' FROM BACKUPSET '/dm8/dmbak/bak01'"
dmrman V8
RESTORE DATABASE '/dm8/data/DWTEST/dm.ini' FROM BACKUPSET '/dm8/dmbak/bak01'
file dm.key not found, use default license!
RESTORE DATABASE CHECK......
RESTORE DATABASE,data collect......
RESTORE DATABASE,database refresh ......
RESTORE BACKUPSET [/dm8/dmbak/bak01] START......
total 3 packages processed...
total 4 packages processed...
RESTORE DATABASE,UPDATE ctl file......
RESTORE DATABASE,REBUILD key file......
RESTORE DATABASE,CHECK db info......
RESTORE DATABASE,UPDATE db info......
total 4 packages processed...
total 4 packages processed!
CMD END.CODE:[0]
restore successfully.
time used: 510.720(ms)
[aaa@qq.com bin]$ ./dmrman CTLSTMT="RECOVER DATABASE '/dm8/data/DWTEST/dm.ini' FROM BACKUPSET '/dm8/dmbak/bak01'"
dmrman V8
RECOVER DATABASE '/dm8/data/DWTEST/dm.ini' FROM BACKUPSET '/dm8/dmbak/bak01'
file dm.key not found, use default license!
Database mode = 0, oguid = 0
EP[0]'s cur_lsn[38679]
RESTORE RLOG CHECK......
CMD END.CODE:[603],DESC:[备份集[/dm8/dmbak/bak01]备份过程中未产生日志]
备份集[/dm8/dmbak/bak01]备份过程中未产生日志
recover successfully!
time used: 248.354(ms)
[aaa@qq.com bin]$ ./dmrman CTLSTMT="RECOVER DATABASE '/dm8/data/DWTEST/dm.ini' UPDATE DB_MAGIC"
dmrman V8
RECOVER DATABASE '/dm8/data/DWTEST/dm.ini' UPDATE DB_MAGIC
file dm.key not found, use default license!
Database mode = 0, oguid = 0
EP[0]'s cur_lsn[38679]
EP[0]'s apply_lsn[38679] >= end_lsn[38679]
recover successfully!
time used: 990.350(ms)
4.2.6 备库启动到mount状态
./dmserver /dm8/data/DWTEST/dm.ini mount
4.2.7 设置备库OGUID并修改数据库模式
SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
sp_set_oguid(453332); ---设置所有备库的OGUID与主库相同
alter database standby; ---修改备库模式
SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
4.3 启动守护进程
守护进程启动后，进入Startup状态，此时实例都处于Mount状态。守护进程开始广播自身和其监控实例的状态信息，结合自身信息和远程守护进程的广播信息，守护进程将本地实例Open，并切换为Open状态。
4.3.1 启动主库dmwatcher
cd $DM_HOME/bin
./dmwatcher /dm8/data/DAMENG/dmwatcher.ini
4.3.2 启动备库dmwatcher
cd $DM_HOME/bin
./dmwatcher /dm8/data/DAMENG/dmwatcher.ini
4.4 配置监视器
监视器提供一系列命令，支持当前守护系统状态查看以及故障处理，可输入help命令，查看各种命令说明使用，结合实际情况选择使用。
4.4.1 配置dmmonitor.ini
配置确认监视器，其中MON_DW_IP中的IP和PORT和dmmal.ini中的MAL_HOST和MAL_DW_PORT配置项保持一致。
MON_DW_Confirm = 1 #确认监视器模式，0表示观察监视器
MON_LOG_PATH = /dm8/monitor/log #监视器日志文件存放路径
MON_LOG_INTERVAL = 60 #每隔60s定时记录系统信息到日志文件
MON_LOG_FILE_SIZE = 32 #每个日志文件最大32M
MON_LOG_SPACE_LIMIT = 0 #不限定日志文件总占用空间
[GRP1]
MON_INST_OGUID = 453332 #组GRP1的唯一OGUID值
#以下配置为监视器到组GRP1的守护进程的连接信息，以“IP:PORT”的形式配置
#IP对应dmmal.ini中的MAL_HOST，PORT对应dmmal.ini中的MAL_DW_PORT
MON_DW_IP = 192.168.12.12:5538
MON_DW_IP = 192.168.12.11:5538
4.4.2 启动监视器
./dmmonitor /dm8/monitor/dmmonitor.ini
4.5 配置系统服务
root用户：
主库：
/dm8/dmdbms/script/root/dm_service_installer.sh -t dmwatcher –watcher_ini /dm8/data/DAMENG/dmwatcher.ini -p GRP1_RWW_01
备库：
/dm8/dmdbms/script/root/dm_service_installer.sh -t dmwatcher –watcher_ini /dm8/data/DAMENG/dmwatcher.ini -p GRP1_RWW_02
/dm8/dmdbms/bin/DmWatcherServiceGRP1_RWW_01 start
/dm8/dmdbms/bin/DmWatcherServiceGRP1_RWW_02 start
至此读写分离集群搭建完毕，在搭建步骤和各项配置都正确的情况下，在监视器上执行show命令，可以监控到所有实例都处于Open状态，所有守护进程也都处于Open状态，即为正常运行状态。
4.6 启动和关闭
关闭：
先关闭备库的守护进程，然后关闭备库实例：
DmWatcherServiceGRP1_RWW_02 stop
DmServiceGRP1_RWW_02 stop
再关闭主库守护进程，然后关闭主库实例：
DmWatcherServiceGRP1_RWW_01 stop
DmServiceGRP1_RWW_01 stop
启动：
先启动主库守护进程，再启动备库守护进程。
因为dmwatcher.ini中配置了INST_AUTO_RESTART = 1 ，守护进程启动后，会自动拉起数据库实例。
推荐阅读