详解多线程Django程序耗尽数据库连接的问题
程序员文章站
2022-06-16 21:30:03
django的orm是非常好用的,哪怕不是做web项目也值得一用,所以网上也可以找到不少使用 django 开发非web项目的资料,因为除了orm之个,命令行、配置文件等组...
django的orm是非常好用的,哪怕不是做web项目也值得一用,所以网上也可以找到不少使用 django 开发非web项目的资料,因为除了orm之个,命令行、配置文件等组件也非常好用。
最近用这种方式开发了一个非web项目,而且是多线程的。有n个工作线程从db中获取jobs,并把结果写回db。简单来说就是这样。
项目运行一段时间后,发现数据库连接耗尽了,幸好内存大,然后一直往上调,最后连接数都上九千多一万了。耗尽连接数的时候,postgresql 会出现类似这样的错误:
fatal: remaining connection slots are reserved for non-replication superuser connections
然后就各种看文档、代码,找问题,其中艰难略下不表,最后大概是这么些个知识点:
- django里的数据库连接是放在线程的 local() 实例中的。
- 任何时候,需要一个数据库连接的话,django就会创建一条出来,或者用本线程已有的那条。
- 如果是web项目,在请求结束的时候,django会去关闭掉连接。是的,没有连接池。
- 因为我们是非web项目,所以不存在请求结束事件,所以一直没的关闭连接。但本来这个应该也不会造成问题的,因为没关闭就一直用呗,但不知道哪里出了问题,会出现连接泄漏,所以连接数据会一直增长。
最后的解决方案是找时机主动关闭数据库连接,具体到我们项目,就是每次工作线程完成一个任务后,就把它相关的连接关掉,因为我们用的是 threadpoolexecutor
,所以django很容易做到这一点。
重点代码如下:
from django.db import connections def on_done(future): # 因为每一个线程都有一个 connections,所以这里可以调用 close_all(),把本线程名下的所有连接关闭。 connections.close_all() def main(): # ... with threadpoolexecutor() as executor: while true: future = executor.submit(do, get_a_job()) future.add_done_callback(on_done)
主动关闭后,数据库连接数降到与工作线程数相近,并保持稳定。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
上一篇: MySQL数据库性能优化介绍
下一篇: 如何申请腾讯地图用户Key
推荐阅读
-
MFC连接数据库时,无法启动程序,计算机丢失libmysql.dll的问题解决办法
-
Django数据库连接丢失问题的解决方法
-
程序猿必须要掌握的多线程安全问题之锁策略详解
-
详解多线程Django程序耗尽数据库连接的问题
-
编写简单的连接MongoDB数据库C++程序 解决编译C++程序时链接MongoDB动态库失败的问题
-
MFC连接数据库时,无法启动程序,计算机丢失libmysql.dll的问题解决办法
-
php连接mysql数据库出现有关问题 找不到指定的程序
-
python3.7(django)连接数据库mysql遇到的问题
-
php连接mysql数据库出现有关问题 找不到指定的程序
-
详解远程连接Mysql数据库的问题(ERROR 2003 (HY000))_MySQL