欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  数据库

Mongdb的upsert出现E11000 duplicate key errors的错误分析

程序员文章站 2022-06-01 15:21:12
...

Mongdb的upsert出现E11000 duplicate key errors的错误分析 昨日上线的系统,今天查日志时发现有不少E11000 duplicate key errors的报错日志,当时 十分费解,因为用的upsert,这个是原子操作,避免了线程并发带来的问题,但为什么会报 重复主键的错误呢? w


Mongdb的upsert出现E11000 duplicate key errors的错误分析

昨日上线的系统,今天查日志时发现有不少E11000 duplicate key errors的报错日志,当时
十分费解,因为用的upsert,这个是原子操作,避免了线程并发带来的问题,但为什么会报
重复主键的错误呢?

www.2cto.com

Java代码

update( DBObject q , DBObject o , boolean upsert , boolean multi )

第一个参数是查询条件,第一个参数是要做的操作。

我的处理逻辑是这样的,集合中有3列联合唯一索引,此外还有6列属性值,4列要增加的列。

我的查询条件q是这么写的

Java代码

QueryBuilder.start("mb").is(bsc.getMb()).and("sb").is(bsc.getSb()).and("fd").is(bsc.getFd())

.and("mft").is(bsc.getMft()).and("mst").is(bsc.getMst()).and("mtt").is(bsc.getMtt())

.and("sft").is(bsc.getSft()).and("sst").is(bsc.getSst()).and("stt").is(bsc.getStt())

.get()

mb,sb,fd是联合唯一索引。

要做的操作是

Java代码

QueryBuilder.start("$inc").is(QueryBuilder.start("mc0").is(bsc.getMc0()).and("mc1").is
(bsc.getMc1())

.and("sc0").is(bsc.getSc0()).and("sc1").is(bsc.getSc1()).get())

.get();

在测试时是一点问题都没有的

但为什么会有duplicate key errors呢?

upsert的原理是先根据q去查询,若没有结果,则先insert,若有结果则根据o进行update

所以唯一可能的问题是那6个属性列,因为它们不是唯一索引列,但仍然出现在查询条件中,
这样就会出现索引列的值一样,但是属性列的值不一样,这样Mongodb进行insert,由于库中
已经有了和当前值唯一索引相同的记录,故出现duplicate key errors。属性列的值是与索引列的值
相关联的,但可能在计算的时候出错,导致属性列的值得到错误的结果。

www.2cto.com

同时,在Mongodb的官网jira中也有这个问题的讨论https://jira.mongodb.org/browse/SERVER-5928

Java代码

// Insert test document

> db.test.insert({_id:1, version:2, data:3})

// Get current document

> var doc = db.test.findOne({_id:1});

> printjson(doc);

{

"_id" : 1,

"version" : 2,

"data" : 3

}

// Perform some updates on doc.data

...

// Update

> db.test.update({_id:1, version:doc.version},{$set:{data:doc.data}, $inc:{version:1}}, true);
db.getLastError();

// Update succeeded

null

// Try once more

> db.test.update({_id:1, version:doc.version},{$set:{data:doc.data}, $inc:{version:1}}, true);

// Failed with "non-unique key" since "version" field changed

E11000 duplicate key error index: d2_feed0.feed.$_id_ dup key: { : 1 }

注意倒数第二行的

Java代码

Failed with "non-unique key" since "version" field changed

和我得出的结论是一致的。

以后在使用upsert时,在查询条件中尽量只有唯一索引的列。

修改之后的代码

www.2cto.com

Java代码

DBObject q = QueryBuilder.start("mb").is(bsc.getMb()).and("sb").is(bsc.getSb()).and("fd").
is(bsc.getFd()).get();

DBObject o = QueryBuilder.start("$set")

.is(QueryBuilder.start("mft").is(bsc.getMft()).and("mst").is(bsc.getMst()).and("mtt").
is(bsc.getMtt())

.and("sft").is(bsc.getSft()).and("sst").is(bsc.getSst()).and("stt").is(bsc.getStt())

.get())

.and("$inc").is(QueryBuilder.start("mc0").is(bsc.getMc0()).and("mc1").is(bsc.getMc1())

.and("sc0").is(bsc.getSc0()).and("sc1").is(bsc.getSc1()).get())

.get();

使用set来解决可能出现的不一致问题。