欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

python报错:pymongo.errors.CursorNotFound: Cursor not found

程序员文章站 2024-02-10 13:56:28
...

今天在做查询mongo并遍历其中url做下载的工作时,报了下面的错误

pymongo.errors.CursorNotFound: Cursor not found

刚开始以为是逻辑处理的不正确,最后找到原因是mongo自身的问题,默认在10分钟内如果没有返回,就会报这个错,就是说如果你的查询语句查询数据量大,并且在十分钟内对这些数据没有处理完成,就会报这个错

解决方法:

1、设置no_cursor_timeout = True,永不超时,游标连接不会主动关闭,需要手动关闭

demos = db.col.find({},no_cursor_timeout = True)

for cursor in demos:

do_something()

demos.close() # 关闭游标

2、设置batch_size返回文档数,默认应该是20个文档(记不清了233333),可以设置小一些

#每次只返回一个文档

demos = db.col.find({}).batch_size(1)

for cursor in demos:

do_something()

注意:这种方法仍然会出现可能超过10分钟任然没有返回,比如你在do_something里进行一些十分耗时的操作,具体采用哪种方法按实际情况而定