单台MongoDB实例开启Oplog

 背景

随着数据的积累，mongodb中的数据量越来越大，数据分析团队从数据库中抽取变化数据（假如依据栏位createdatetime,transdatetime），越来越困难。我们知道mongodb的副本集有一个数据结构oplog，里面存储了primary节点的所有写操作（此处的写操作是指查询以外的操作，包含 更新、异常等）。其实，数据的抽取完全可以从oplog中抓取这些操作，然后去重放。

但是在实际的生产环境中，我们很多mongodb 数据库是单实例的，那么我们能否在单实例数据库上开启oplog？

答案是肯定的。

 其原理就是，在单实例上配置副本集，如果配置成功了，自然就有了oplog。

配置过程

其实配置的过程比较简单。

step 1 ： 在配置文件中 添加副本集参数（replset）；

step 2 ：重启服务；

step 3：在local数据库或admin数据库执行初始化副本集的脚本，rs.initiate()。

 

注意事项

1. 在配置文件中增加副本集参数（replset=？？），mongodb实例重启，第一次登入，执行其他命令时（例如：show dbs），会提示错误，错误信息如下，
{
"ok" : 0,
"errmsg" : "not master and slaveok=false",
"code" : 13435,
"codename" : "notmasternoslaveok"
}

此时一定要执行初始化的命令：
rs.initiate({ _id: "副本集名称", members: [{_id:0,host:"serverip:mongodbport"}]})

 

 2 . 初始化时，请指明 server信息和端口信息，否则初始化时可能报错，报错信息如下

 "errmsg" : "no host described in new configuration 1 for replica set replwms maps to this node",

 

 指定ip 和 端口，副本集名称，例如执行以下命令，ok

 

3 .  副本集初始化可以在admin中执行，不仅仅可以在local数据库中执行【真正的副本集建立多是在admin库中执行】。

   而不像有些文章中要求的那样 ：you just need to issue rs.initiate() on the local database:

 

4.  初始完，副本集中唯一的节点，可能短时间显示为secondary或other。一般而言，稍等一会，就会自然恢复为primary，无需人工干预。

或

 

如果数据库的数据量不大，并且长时间初始这种过渡状态（secondary或other），去看实例的日志，也显示无进展，此时可以考虑重启服务。

下面案例是我们实际遇到的一个场景，我们是通过重启服务解决此问题，角色由other重启转换为primary