在所有 celery worker 之间共享到 mongo db 的单个连接

Question

我有一系列执行任务的芹菜工人，使用 REDIS 存储；特别是我有三类工人，分别执行三类任务。属于这些类别中的每一个的任务都需要访问 mongo 数据库。出于效率的原因，我想使用一个连接到数据库以供所有工作人员使用。到目前为止，我已经尝试通过以下方式将连接作为参数传递给“send_task”：

myclient = MongoClient('localhost:27017')
celeryWorker.send_task('tasks.beampolyline', myclient)

但显然 returns 对象不是 JSON 可序列化的错误；两者都试图在所有工作人员之间共享 myclient 对象，但结果不佳。任何想法？我觉得我非常接近解决方案，但我仍然坚持我尝试使用的两种方法。

Answer 1

一种解决方案是定义模块级连接。假设 worker.py 作为你的工作模块：

from mongodb import MongoClient

shared_connection = MongoClient()

@app.task(...)
def task(self, a, b):
    ...  # use shared_connection inside task
    return

在此解决方案中，此工作人员的 threads/processes 共享连接。

Answer 2

你不能做类似的事情吗？:

import pymongo
from pymongo import MongoClient
from flask import *

client = pymongo.MongoClient("yourcredentials")
db = client['ALLWORKER']
worker_1 = db['worker1']
worker_2 = db['worker_2']

在所有 celery worker 之间共享到 mongo db 的单个连接

Sharing a single connection to mongo db between all celery workers

python

flask

singleton

celery

pymongo