MongoDB通过Shell 实现集合的日常归档
程序员文章站
2022-07-27 17:49:44
1.MongoDB数据归档的意义 和其他类型的数据库一样,归档对MongoDB同样重要。通过归档,可以保持集合中合适的数据量,对数据库的性能是一种保障,也就是大家常说的数据冷热分离。 同时,归档对数据库的管理也带来了很大方便性,例如日常的备份、灾难恢复等。 在此,不再展开叙述了。 2.集合数据归档流 ......
1.mongodb数据归档的意义
和其他类型的数据库一样,归档对mongodb同样重要。通过归档,可以保持集合中合适的数据量,对数据库的性能是一种保障,也就是大家常说的数据冷热分离。
同时,归档对数据库的管理也带来了很大方便性,例如日常的备份、灾难恢复等。
在此,不再展开叙述了。
2.集合数据归档流程图
3.归档实现代码
# # the file is used by cron to archive the data of needarchivecolname_archive collection,the collection is part of needarchivedbcolname db. # the file is writed by dba carson xu.if you find any error, please connect with me,thanks. # the version is defined v.001 # version modifytime modifyby desc # ver001 2019-02-22 14:20 carson xu create the scripts file # # #!/bin/bash ######mongodb可执行文件所在文档路径,此例为4.04 ,同时支持3.4.4 command_linebin="/qqmsg/mongo_db/mongobin404/bin/mongo" command_linebint="/qqmsg/mongo_db/mongobin404/bin/mongo" ######存放导出过渡文件的文档路径和文件名字,cola可用你的集合名字替代 targetpath='/data/mongodb_back/archivedb_端口号' bakcollectionname=needarchivecolname_$(date "+%y%m%d%h%m") ###### 登入账号信息 username="账号" password="账号密码" #######start 设置备份集合的开始日期和结束日期 ##### parambakstartdate=$(date -d '-46 days' "+%y-%m-%d") echo "备份needarchivecolname时间参数中的开始时间为:" $parambakstartdate parambakenddate=$(date -d '-45 days' "+%y-%m-%d") echo "备份needarchivecolname时间参数中的结束时间为:" $parambakenddate parambakstarttimes="$(date -d $parambakstartdate +%s)" parambakendtimes="$(date -d $parambakenddate +%s)" echo "备份集合的时间转换为utc时间秒数为:" $parambakstarttimes 和 $parambakendtimes parambakstarttimems=$[$parambakstarttimes * 1000+8*60*60*1000] parambakendtimems=$[$parambakendtimes * 1000+8*60*60*1000] echo "备份集合的时间转换为utc时间毫秒数为:" $parambakstarttimems 和 $parambakendtimems #######end ###### ######## start 连接源server db ,检查此次集合备份的文档数 command_line="${command_linebin} localhost:端口号/needarchivedbcolname -u$username -p$password" export docqty=$(/bin/echo 'db.needarchivecolname.find({needarchivebyfield:{$gte:new date('\"$parambakstartdate\"'),$lt:new date('\"$parambakenddate\"')}}).count()' | $command_line --quiet) echo "备份前集合needarchivecolname的文档数据为:" $docqty ###### end ##### ###### start 定义每次备份归档的最大阈值,防止意外情况的发生,例如:参数输入错误### if [ $docqty -gt 2000000 ];then echo "mongodb-archive-exception:needarchivedbcolname库needarchivecolname集合指定时间段内的文档数过大,超过定义的安全阈值 2000000,归档终止,请检查!" exit fi ####### end ###### ######## start 连接目标server db ,检查target db 上是否已经存在此时间内的文档 command_linet="${command_linebint} 归档实例ip:归档实例端口/归档数据库name -u$username -p$password" export docqtyt=$(/bin/echo 'db.needarchivecolname.find({needarchivebyfield:{$gte:new date('\"$parambakstartdate\"'),$lt:new date('\"$parambakenddate\"')}}).count()' | $command_linet --quiet) echo "备份目标bkdb集合needarchivecolname备份归档前的文档数据为:" $docqtyt if [ $docqtyt -gt 0 ];then echo "mongodb-archive-exception:needarchivedbcolname库needarchivecolname集合检查发现指定时间段内目标数据库目标集合存在异常文档数,归档终止,请检查!" exit fi ####### end ###### ####### start mongoexport 指定集合指定时间段内的文档,输出到指定路径下;并执行检查命令是否正常执行#### start() { echo "needarchivedbcolname库needarchivecolname集合备份输出开始" /qqmsg/mongo_db/mongobin404/bin/mongoexport --port 端口号 -u $username -p $password -d needarchivedbcolname --authenticationdatabase needarchivedbcolname -c needarchivecolname -q ' { needarchivebyfield: { $gte:new date('$parambakstarttimems'),$lt:new date('$parambakendtimems') } } ' -o ${targetpath}/${bakcollectionname} echo "needarchivedbcolname库needarchivecolname集合备份输出完毕" } start execute() { if [ $? -eq 0 ] then echo "the mongodb 集合 needarchivecolname 文档mongoexport完成!" else echo "the mongodb 集合 needarchivecolname 文档mongoexport失败" exit fi } ###### end ###### ###### start mongomongoimport 将导出的备份集合导入到指定的bkdb 指定的集合中##### echo "备份输入开始" /qqmsg/mongo_db/mongobin404/bin/mongoimport -h 归档实例ip --port 归档实例端口 -u $username -p $password -d 归档数据库name --authenticationdatabase 归档数据库name -c needarchivecolname --file ${targetpath}/${bakcollectionname} echo "备份输入完毕" ##### end ####### ######## start 连接目标server db ,检查target db 上是否已经存在此时间内的文档 export docqtyt2=$(/bin/echo 'db.needarchivecolname.find({needarchivebyfield:{$gte:new date('\"$parambakstartdate\"'),$lt:new date('\"$parambakenddate\"')}}).count()' | $command_linet --quiet) echo "备份目标bkdb集合needarchivecolname备份归档后的文档数据为:" $docqtyt2 echo "比较docqty 和 docqtyt2 的大小" if [ $docqty == $docqtyt2 ]; then echo "正常:时间段内源数据库集合中的文档数 和 目标数据库集合中还原后的文档数据 相等"; elif [ $docqty -gt $docqtyt2 ]; then echo "mongodb-archive-exception:时间段内源数据库集合中的文档数 大于 目标数据库集合中还原后的文档数据"; exit else echo "mongodb-archive-exception:时间段内源数据库集合中的文档数 小于 目标数据库集合中还原后的文档数据"; exit fi ########### end ##### ########### start remove 源数据库源集合指定时间内的记录 ######## docqtyr=$(/bin/echo 'db.needarchivecolname.remove({needarchivebyfield:{$gte:new date('$parambakstarttimems'),$lt:new date('$parambakendtimems')}}).nremoved' | $command_line --quiet) echo "本次操作remove集合needarchivecolname的文档数据为:" $docqtyr ########## end ######### ###### 检查 remove 后集合的文档数 ### docqty=$(/bin/echo 'db.needarchivecolname.find({needarchivebyfield:{$gte:new date('\"$parambakstartdate\"'),$lt:new date('\"$parambakenddate\"')}}).count()' | $command_line --quiet) echo "needarchivedbcolname库needarchivecolname集合 此次 remove 后指定时间剩余的文档数据为:" $docqty ###### end ### #########删除导出的文件####### rm -rf ${targetpath}/${bakcollectionname} if [ $? -eq 0 ] then echo "正常:needarchivedbcolname库needarchivecolname集合导出的文件被删除:" ${targetpath}/${bakcollectionname} else echo "mongodb-archive-exception:needarchivedbcolname库needarchivecolname集合导出的文件未被正常删除" ${targetpath}/${bakcollectionname} fi ######## end #####
4. 代码说明
4.1 配置基本信息
主要包括:mongo bin 可执行文件所在路径;导出过渡文件的定义;归档账号和密码;集合数据保留天数。
4.2 代码中关键词
明白关键字的含义,可在部署运行前,批量替换
代码中关键词 | 关键词意义 |
needarchivedbcolname |
需要归档的集合所在数据库; |
needarchivecolname |
需要归档的集合名字; |
归档数据库name |
归档数据库name |
needarchivebyfield |
归档依据的字段;此例中是date类型的字段,其他类型还要调试。 |
/qqmsg/mongo_db/mongobin404/bin | mongo 可执行文件所在路径 |
2000000 | 归档的最大阈值 |
archivedb_端口号 | 过渡文件所放的位置,一个数据库一个文档。不用细化到集合 |
端口号 | 端口号分为源库所在实例端口,和目标库所在实例端口 |
4.3 在本例中,源库和目标库设置了相同的归档账号和对应密码
4.4 通过crontab 实现日常归档,执行信息(异常错误)重定向到log文件
归档实现代码保存到文件中,通过crontab设置文件的定时任务,实现日常归档。
执行情况 重定向( >>)到指定文件。通过指定文件的监视可实现监控归档的执行情况。
本文版权归作者所有,未经作者同意不得转载,谢谢配合!!!
本文版权归作者所有,未经作者同意不得转载,谢谢配合!!!
本文版权归作者所有,未经作者同意不得转载,谢谢配合!!!
上一篇: 曹操有那么多的儿子 参与王位竞争的人为什么只有曹丕和曹植
下一篇: 初识Flink