阻止 Python 用 Condor 作业覆盖文件

Question

我尝试执行的 python 代码必须将两个不同的变量写入一个文件。我正在使用 Condor 来加快我的进程，这意味着 python 代码是同步执行的。我定义的写函数是：

with open('output.txt', 'a') as results_file:
      results_file.write(str(gc_count) + '\n')
      results_file.write(str(length) + '\n')
results_file.close()

但不幸的是，该文件以某种方式不断覆盖结果。有人可以帮助我如何使用 Condor 将变量写入文本文件吗？

Answer 1

即使文件模式设置为append，并发写入文件也会导致数据损坏。

在多线程环境中，您可以使用 threading.Lock 对象来保护您的写入调用：

import threading
l = threading.Lock()   # l must be a global variable or a member of some class

然后写的时候，请求锁的权限，写完文件就释放：

l.acquire()
with open('output.txt', 'a') as results_file:
      results_file.write(str(gc_count) + '\n')
      results_file.write(str(length) + '\n')
l.release()

（另外：您不需要文件上下文管理器中的最后一个 close）

阻止 Python 用 Condor 作业覆盖文件

Stop Python from overwriting the file with Condor jobs

python

condor