Django的ORM是非常好用的,哪怕不是做Web項目也值得一用,所以網上也可以找到不少使用 Django 開發非Web項目的資料,因為除了ORM之個,命令行、配置文件等組件也非常好用。
最近用這種方式開發了一個非Web項目,而且是多線程的。有N個工作線程從DB中獲取jobs,并把結果寫回DB。簡單來說就是這樣。
項目運行一段時間后,發現數據庫連接耗盡了,幸好內存大,然后一直往上調,最后連接數都上九千多一萬了。耗盡連接數的時候,PostgreSQL 會出現類似這樣的錯誤:
FATAL: remaining connection slots are reserved for non-replication superuser connections
然后就各種看文檔、代碼,找問題,其中艱難略下不表,最后大概是這么些個知識點:
- Django里的數據庫連接是放在線程的 local() 實例中的。
- 任何時候,需要一個數據庫連接的話,Django就會創建一條出來,或者用本線程已有的那條。
- 如果是Web項目,在請求結束的時候,Django會去關閉掉連接。是的,沒有連接池。
- 因為我們是非Web項目,所以不存在請求結束事件,所以一直沒的關閉連接。但本來這個應該也不會造成問題的,因為沒關閉就一直用唄,但不知道哪里出了問題,會出現連接泄漏,所以連接數據會一直增長。
最后的解決方案是找時機主動關閉數據庫連接,具體到我們項目,就是每次工作線程完成一個任務后,就把它相關的連接關掉,因為我們用的是 ThreadPoolExecutor
,所以Django很容易做到這一點。
重點代碼如下:
1
2
3
4
5
6
7
8
9
10
11
12
|
from django.db import connections def on_done(future): # 因為每一個線程都有一個 connections,所以這里可以調用 close_all(),把本線程名下的所有連接關閉。 connections.close_all() def main(): # ... with ThreadPoolExecutor() as executor: while True : future = executor.submit(do, get_a_job()) future.add_done_callback(on_done) |
主動關閉后,數據庫連接數降到與工作線程數相近,并保持穩定。
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持服務器之家。
原文鏈接:https://blog.csdn.net/gzlaiyonghao/article/details/82959426