欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

MongoDB 常用的数据备份梳理汇总

程序员文章站 2023-01-02 11:56:15
1.基于数据文件的备份 直接将原始的数据文件Copy至备份的地方,这个方法的优点是比较快,因为备份和恢复都不需要转换数据格式。缺点就是需要锁住数据库服务器,但是此方案通常备份是在从节点上进行,备份过程不影响应用的正常运行。 如果不锁住数据,经常会导致复制文件中断,另外就是保证数据文件的一致性状态。 ......

1.基于数据文件的备份

直接将原始的数据文件copy至备份的地方,这个方法的优点是比较快,因为备份和恢复都不需要转换数据格式。缺点就是需要锁住数据库服务器,但是此方案通常备份是在从节点上进行,备份过程不影响应用的正常运行。

如果不锁住数据,经常会导致复制文件中断,另外就是保证数据文件的一致性状态。

主要命令:

加锁的命令--db.fsynclock()

注意:锁之后的任何尝试写入都会被阻止,而且读操作也会被阻止。新的连接尝试也会被阻止。

解锁的命令--db.fsyncunlock()

注意:这仅仅是个解锁请求,数据库可能无法正确解锁。运行db.currentop方法可以验证数据库是否还处于锁状态。

2.mongodump

mongodump导出的是bson格式,是二进制形式。此工具对于恢复整个实例、单个数据库、指定集合都十分有用。他们可以用于备份实时运行的数据库(无需锁住或者关闭数据库)。

mongorestore用于读取恢复这些文件。

部分主要命令参数 如下:

 -h [ --host ]   --数据库所在主机ip地址;

–port           --mongodb使用的端口号;

-u [ --username ]--登陆用户名;

-p [ --password ] --用户的登陆密码;

-d [ --db ]  --准备备份的数据库;

-c [ --collection ] --准备备份的集合;

-o [ --out ] --导出数据将要保存在的目录;

-q [ --query ] --指定备份的查询条件;

–oplog --快照式备份,保证数据的时间一致性和完整性;

--authenticationdatabase --用户的登录验证数据库

--gzip --备份文件压缩

例子:

将端口为37017的mongodb数据备份到 /opt/backup/mongodump-2011-10-24 路径下,登入验证需输入密码。

mongodump --host mongodb1.example.net --port 37017 --username user --password "pass" --out /opt/backup/mongodump-2011-10-24

 

3.mongoexport 

mongoexport命令行用于数据的导出,默认导出的文件格式为json格式,还支持csv格式。

部分主要命令参数 如下:

-h,--host :代表远程连接的数据库地址,默认连接本地mongo数据库;

--port:代表远程连接的数据库的端口,默认连接的远程端口27017;

-u,--username:代表连接远程数据库的账号,如果设置数据库的认证,需要指定用户账号;

-p,--password:代表连接数据库的账号对应的密码;

-d,--db:代表连接的数据库;

-c,--collection:代表连接数据库中的集合;

-f, --fields:代表集合中的字段,可以根据设置选择导出的字段;

--type:代表导出输出的文件类型,包括csv和json文件;

-o, --out:代表导出的文件名;

-q, --query:代表查询条件;

 

与mongodump相比,从功能上来讲,mongoexport可以细化到集合中的字段,可以根据需要只导出指定的字段。从文件格式上来看,不再是bson格式的文件,而是直接可读的json或csv文件,容易被第三方程序读取利用。缺点就是备份性能减低了。

 

在开发的数据变更需求中,有时候 考虑到 数据的重要性和可溯性,部分需求会要求我们将数据临时备份到一个集合中,便于回滚和查询比较。这时候登录到服务器上,根据条件执行mongoexport 导出和 mongoimport 再次导入, 虽然可以实现备份的需求,但这有一个前提要求,就是有服务器登入和执行的权限,且过程还相对繁琐。如果mongodb部署在云上,上面mongoexport的备份方案就歇菜了,我们不能登入云库的物理机。此外,云上数据库虽然还可以还原实例,但代价相对较大。 

相信这时候,我们会不由自主的怀念 sql server / mysql 的   insert into xxxx_bak  select * from xxxx。如果 mongodb也有这种轻量级的备份该多好啊。

其实,在mongodb的命令中,也有类似功能代码。在这里我们,我们讲解下cursor游标和聚合框架的$out。

 

4.cursor.foreach()

cursor,又称游标。

游标不是查询结果,可以理解为数据在遍历过程中的内部指针,其返回的是一个资源,或者说数据读取接口.客户端通过对游标进行一些设置就能对查询结果进行有效地控制,如可以限制查询得到的结果数量、跳过部分结果、或对结果集按任意键进行排序等。

db.collection.find()可以实现根据条件查询和指定使用投影运算符返回的字段(省略此参数返回匹配文档中的所有字段)。并返回到匹配文档的游标,可以随意修改查询限制、跳跃、和排序顺序的功能。

游标有一个重要的迭代函数---cursor.foreach(回调函数),允许我们自定义回调函数来逐个处理每个单元.

基本语法格式:

db.collection.find().foreach(<function>)

 

例如,我们需要修改集合qqorder中创建时间为指定时间,状态为10的订单,因为订单数据不能轻易修改,除流程控制外,要求dba在修改前备份一下。

以下代码是将符合条件的数据备份至qqorder_bak集合中。

db.qqorder.find(
{"status" : "10",
"rec_createtime" : {$gt:isodate("2018-11-18t15:37:20.740+08:00"),$lt:isodate("2018-11-20t15:37:20.740+08:00")}
}
).foreach(
    function(x){
      db.qqorder_bak.insert(x)
   }
   )

 

5.聚合框架--$out

 我们知道在聚合框架中有一个步骤--$out,可以把管道的结果写入某个集合中(2.6版新增)。

使用$out操作符,可以自动把聚合管道的输出结果保存到集合里。如果集合不存在的话,则$out操作符将会创建一个集合,或者如果存在就会完全取代现有的集合。此外,如果创建新的集合失败的话,mongodb不会修改之前的集合。

所以,针对上面的需求,使用下面的代码也可以实现。

(测试过程中,将上一个案例备份集合由qqorder_bak替换成了qqorder_bak_2)

db.qqorder.aggregate([
{$match: {"status" : "10","rec_createtime" : {$gt:isodate("2018-11-18t15:37:20.740+08:00"),$lt:isodate("2018-11-20t15:37:20.740+08:00")}}},
{$out:'qqorder_bak_2'}
])

需要特别注意的话,qqorder_bak_2只可以临时存放数据,如果再次执行新的导出,会将集合中原来的数据覆盖掉。

 

以上五种备份,可以涵盖我们日常所有的备份需求了。包含 实例、库的日常灾备,也有业务需求的临时备份。

 

本文版权归作者所有,未经作者同意不得转载,谢谢配合!!!