Python / rq - 如何将信息从呼叫者传递给工作人员?
Python / rq - How to pass information from the caller to the worker?
我想使用 rq to 运行 任务在单独的工作人员上从测量仪器收集数据。用户按下 dash 应用程序上的按钮将发出任务结束信号。
问题是任务本身不知道何时终止,因为它无权访问 dash 应用程序的上下文。
我已经使用 meta
将信息从工作人员传递回调用者,但我可以将信息从调用者传递给工作人员吗?
示例任务:
from rq import get_current_job
from time import time
def mock_measurement():
job = get_current_job()
t_start = time()
# Run the measurement
t = []
i = []
job.meta['should_stop'] = False # I want to use this tag to tell the job to stop
while not job.meta['should_stop']:
t.append(time() - t_start)
i.append(np.random.random())
job.meta['data'] = (t, i)
job.save_meta()
sleep(5)
print("Job Finished")
我可以从控制台开始工作
queue = rq.Queue('test-app', connection=Redis('localhost', 6379))
job = queue.enqueue('tasks.mock_measurement')
并且我希望能够从控制台执行此操作以向工作人员表明它可以停止 运行ning:
job.meta['should_stop'] = True
job.save_meta()
job.refresh
然而,虽然上面的命令 return 没有错误,但它们实际上并没有更新 meta
字典。
因为您没有获取更新后的元数据。 但是,不要这样做!!
在调用者和工作人员中调用 save_meta 和刷新将丢失数据。
相反,使用 job.connection.set(job + ':should_stop', 1, ex=300)
设置标志,并使用 job.connection.get(job + ':should_stop')
检查标志是否已设置。
我想使用 rq to 运行 任务在单独的工作人员上从测量仪器收集数据。用户按下 dash 应用程序上的按钮将发出任务结束信号。 问题是任务本身不知道何时终止,因为它无权访问 dash 应用程序的上下文。
我已经使用 meta
将信息从工作人员传递回调用者,但我可以将信息从调用者传递给工作人员吗?
示例任务:
from rq import get_current_job
from time import time
def mock_measurement():
job = get_current_job()
t_start = time()
# Run the measurement
t = []
i = []
job.meta['should_stop'] = False # I want to use this tag to tell the job to stop
while not job.meta['should_stop']:
t.append(time() - t_start)
i.append(np.random.random())
job.meta['data'] = (t, i)
job.save_meta()
sleep(5)
print("Job Finished")
我可以从控制台开始工作
queue = rq.Queue('test-app', connection=Redis('localhost', 6379))
job = queue.enqueue('tasks.mock_measurement')
并且我希望能够从控制台执行此操作以向工作人员表明它可以停止 运行ning:
job.meta['should_stop'] = True
job.save_meta()
job.refresh
然而,虽然上面的命令 return 没有错误,但它们实际上并没有更新 meta
字典。
因为您没有获取更新后的元数据。 但是,不要这样做!! 在调用者和工作人员中调用 save_meta 和刷新将丢失数据。
相反,使用 job.connection.set(job + ':should_stop', 1, ex=300)
设置标志,并使用 job.connection.get(job + ':should_stop')
检查标志是否已设置。