MongoDB通过Shell 实现集合的日常归档

 1.mongodb数据归档的意义

和其他类型的数据库一样，归档对mongodb同样重要。通过归档，可以保持集合中合适的数据量，对数据库的性能是一种保障，也就是大家常说的数据冷热分离。

同时，归档对数据库的管理也带来了很大方便性，例如日常的备份、灾难恢复等。

在此，不再展开叙述了。

 2.集合数据归档流程图

3.归档实现代码

#
# the file is used by cron to archive the data of needarchivecolname_archive collection,the collection is part of needarchivedbcolname db.
# the file is writed by dba carson xu.if you find any error, please connect with me,thanks.
# the version is defined v.001
# version   modifytime                modifyby              desc
# ver001    2019-02-22 14:20         carson xu             create the scripts file
#
#
#!/bin/bash
######mongodb可执行文件所在文档路径，此例为4.04 ，同时支持3.4.4

command_linebin="/qqmsg/mongo_db/mongobin404/bin/mongo"
command_linebint="/qqmsg/mongo_db/mongobin404/bin/mongo"

######存放导出过渡文件的文档路径和文件名字，cola可用你的集合名字替代
targetpath='/data/mongodb_back/archivedb_端口号'
bakcollectionname=needarchivecolname_$(date "+%y%m%d%h%m")

###### 登入账号信息
username="账号"
password="账号密码"


#######start 设置备份集合的开始日期和结束日期 #####

parambakstartdate=$(date -d '-46 days' "+%y-%m-%d")
echo "备份needarchivecolname时间参数中的开始时间为：" $parambakstartdate 

parambakenddate=$(date -d '-45 days' "+%y-%m-%d")
echo "备份needarchivecolname时间参数中的结束时间为：" $parambakenddate 

parambakstarttimes="$(date -d $parambakstartdate +%s)"

parambakendtimes="$(date -d $parambakenddate  +%s)"

echo "备份集合的时间转换为utc时间秒数为：" $parambakstarttimes  和 $parambakendtimes

parambakstarttimems=$[$parambakstarttimes * 1000+8*60*60*1000]
parambakendtimems=$[$parambakendtimes * 1000+8*60*60*1000]

echo "备份集合的时间转换为utc时间毫秒数为：" $parambakstarttimems  和 $parambakendtimems

#######end ######

######## start 连接源server db ，检查此次集合备份的文档数
command_line="${command_linebin} localhost:端口号/needarchivedbcolname -u$username -p$password"
export docqty=$(/bin/echo 'db.needarchivecolname.find({needarchivebyfield:{$gte:new date('\"$parambakstartdate\"'),$lt:new date('\"$parambakenddate\"')}}).count()' | $command_line --quiet)
echo "备份前集合needarchivecolname的文档数据为：" $docqty
###### end #####

###### start 定义每次备份归档的最大阈值，防止意外情况的发生，例如：参数输入错误###
if [ $docqty -gt 2000000 ];then
  echo "mongodb-archive-exception:needarchivedbcolname库needarchivecolname集合指定时间段内的文档数过大，超过定义的安全阈值 2000000，归档终止，请检查！"
  exit
fi

####### end  ######

######## start 连接目标server db ，检查target db 上是否已经存在此时间内的文档
command_linet="${command_linebint} 归档实例ip:归档实例端口/归档数据库name -u$username -p$password"
export docqtyt=$(/bin/echo 'db.needarchivecolname.find({needarchivebyfield:{$gte:new date('\"$parambakstartdate\"'),$lt:new date('\"$parambakenddate\"')}}).count()' | $command_linet --quiet)
echo "备份目标bkdb集合needarchivecolname备份归档前的文档数据为：" $docqtyt
if [ $docqtyt -gt 0 ];then
  echo "mongodb-archive-exception:needarchivedbcolname库needarchivecolname集合检查发现指定时间段内目标数据库目标集合存在异常文档数，归档终止，请检查！"
  exit
fi

####### end  ######

####### start mongoexport  指定集合指定时间段内的文档，输出到指定路径下;并执行检查命令是否正常执行####
start()
{
echo "needarchivedbcolname库needarchivecolname集合备份输出开始"
/qqmsg/mongo_db/mongobin404/bin/mongoexport --port 端口号 -u $username -p $password -d needarchivedbcolname --authenticationdatabase needarchivedbcolname -c needarchivecolname -q ' { needarchivebyfield: { $gte:new date('$parambakstarttimems'),$lt:new date('$parambakendtimems') } } ' -o ${targetpath}/${bakcollectionname}
echo "needarchivedbcolname库needarchivecolname集合备份输出完毕"
}
start
execute()
{
if [ $? -eq 0 ]
then
echo "the mongodb 集合 needarchivecolname 文档mongoexport完成!"
else
echo "the mongodb 集合 needarchivecolname 文档mongoexport失败"
exit
fi
}
###### end  ######

###### start mongomongoimport 将导出的备份集合导入到指定的bkdb 指定的集合中#####
echo "备份输入开始"
/qqmsg/mongo_db/mongobin404/bin/mongoimport -h 归档实例ip --port 归档实例端口 -u $username -p $password -d 归档数据库name --authenticationdatabase 归档数据库name -c needarchivecolname  --file ${targetpath}/${bakcollectionname}
echo "备份输入完毕"

##### end #######

######## start 连接目标server db ，检查target db 上是否已经存在此时间内的文档
export docqtyt2=$(/bin/echo 'db.needarchivecolname.find({needarchivebyfield:{$gte:new date('\"$parambakstartdate\"'),$lt:new date('\"$parambakenddate\"')}}).count()' | $command_linet --quiet)
echo "备份目标bkdb集合needarchivecolname备份归档后的文档数据为：" $docqtyt2

echo "比较docqty 和 docqtyt2 的大小"
if [ $docqty == $docqtyt2 ]; then
     echo "正常:时间段内源数据库集合中的文档数  和 目标数据库集合中还原后的文档数据 相等";
elif [ $docqty -gt $docqtyt2 ]; then
    echo "mongodb-archive-exception:时间段内源数据库集合中的文档数  大于  目标数据库集合中还原后的文档数据";
    exit
else
   echo "mongodb-archive-exception:时间段内源数据库集合中的文档数  小于  目标数据库集合中还原后的文档数据";
   exit
fi
########### end ##### 

########### start remove 源数据库源集合指定时间内的记录 ########

docqtyr=$(/bin/echo 'db.needarchivecolname.remove({needarchivebyfield:{$gte:new date('$parambakstarttimems'),$lt:new date('$parambakendtimems')}}).nremoved' | $command_line --quiet)
echo "本次操作remove集合needarchivecolname的文档数据为：" $docqtyr
########## end  #########
###### 检查 remove 后集合的文档数 ### 
docqty=$(/bin/echo 'db.needarchivecolname.find({needarchivebyfield:{$gte:new date('\"$parambakstartdate\"'),$lt:new date('\"$parambakenddate\"')}}).count()' | $command_line --quiet)
echo "needarchivedbcolname库needarchivecolname集合 此次 remove 后指定时间剩余的文档数据为：" $docqty
###### end ###

#########删除导出的文件#######
rm -rf ${targetpath}/${bakcollectionname}
if [ $? -eq 0 ]
then
echo "正常：needarchivedbcolname库needarchivecolname集合导出的文件被删除:" ${targetpath}/${bakcollectionname}
else
echo "mongodb-archive-exception:needarchivedbcolname库needarchivecolname集合导出的文件未被正常删除" ${targetpath}/${bakcollectionname}
fi
######## end #####

 

4. 代码说明

4.1 配置基本信息

主要包括：mongo bin 可执行文件所在路径；导出过渡文件的定义；归档账号和密码；集合数据保留天数。

4.2 代码中关键词

明白关键字的含义，可在部署运行前，批量替换

代码中关键词	关键词意义
needarchivedbcolname	需要归档的集合所在数据库；
needarchivecolname	需要归档的集合名字；
归档数据库name	归档数据库name
needarchivebyfield	归档依据的字段；此例中是date类型的字段，其他类型还要调试。
/qqmsg/mongo_db/mongobin404/bin	mongo 可执行文件所在路径
2000000	归档的最大阈值
archivedb_端口号	过渡文件所放的位置，一个数据库一个文档。不用细化到集合
端口号	端口号分为源库所在实例端口，和目标库所在实例端口

4.3 在本例中，源库和目标库设置了相同的归档账号和对应密码

4.4  通过crontab 实现日常归档，执行信息（异常错误）重定向到log文件

归档实现代码保存到文件中，通过crontab设置文件的定时任务，实现日常归档。

执行情况 重定向（ >>）到指定文件。通过指定文件的监视可实现监控归档的执行情况。

 

 

 

本文版权归作者所有，未经作者同意不得转载,谢谢配合！！！

本文版权归作者所有，未经作者同意不得转载,谢谢配合！！！

本文版权归作者所有，未经作者同意不得转载,谢谢配合！！！