mongodb删除重复数据
db.t_user_task.aggregate([
{
$group: {
_id: {
uid: '$uid',
taskId: '$taskId'
},
count: {
$sum: 1
},
dups: {
$addToSet: '$_id'
}
}
},
{
$match: {
count: {
$gt: 1
}
}
}
]).forEach(function(doc){
doc.dups.shift();db.t_user_task.remove({
_id: {
$in: doc.dups
}
});
})
1.根据uid和taskId分组并统计数量,$group只会返回参与分组的字段,使用$addToSet在返回结果数组中增加_id字段
2.使用$match匹配数量大于1的数据
3.doc.dups.shift();表示从数组第一个值开始删除;作用是踢除重复数据其中一个_id,让后面的删除语句不会删除所有数据
4.使用forEach循环根据_id删除数据
$addToSet 操作符只有在值没有存在于数组中时才会向数组中添加一个值。如果值已经存在于数组中,$addToSet返回,不会修改数组。
注意:forEach和$addToSet的驼峰写法不能全部写成小写,因为mongodb严格区分大小写、mongodb严格区分大小写、mongodb严格区分大小写,重要的事情说三遍!
db.t_user_task.aggregate([ {$match: { startTime: { $gt: 20180205 }} }, { $group: { _id: {uid: '$uid',taskId: '$taskId'},count: {$sum: 1}, dups: {$addToSet: '$_id'}}}, {$match: {count: {$gt: 1}}} ])
db.t_user_task.aggregate([ { $group: { _id: {uid: '$uid',taskId: '$taskId'},count: {$sum: 1}, dups: {$addToSet: '$_id'}}}, {$match: {count: {$gt: 1}}} ]).forEach(function(doc){doc.dups.shift();db.t_user_task.remove({_id: {$in: doc.dups}});})
数据量还可以的情况,耐心等待便是
转载于:https://my.oschina.net/zz006/blog/1619154
上一篇: Mongodb 删除重复数据
下一篇: 新手怎么学五笔