后台的 GNU 并行作业
GNU Parallel jobs in background
我在 运行 我的工作中使用 gnu 时遇到问题。尽管设置了 --results
参数并以“&”结束我的命令,bash 仍然显示从我的命令到屏幕的任何输出。这是我的代码的一般结构(假设我 运行 的程序称为“命令”,并且 filenames.txt 逐行存储所有输入文件):
parallel -a filenames.txt -j 6 --results logs/ --joblog joblog command --input {} --output {}.out &
另外,不知道在这种情况下使用disown
会不会有什么问题。在我的一个 运行 中,奇怪的是 joblog
文件似乎被中断并停止更新,尽管 运行 有更多的工作。从输出文件(stderr,由 --results
设置)来看,大多数未被 joblog
文件记录的作业实际上已完成,但有一些不完整的 stderr。我不确定那些带有不完整 stderr 的作业是否成功完成,因为输出文件(由 --output
设置)的文件大小看起来正常。我检查了joblog
文件的时间戳,最后一次更新时间可能是我使用disown
的时候(虽然我不确定)。
总的来说,根据GNU Parallel的手册和教程,我不确定运行ning parallel在后台的兼容性。
谢谢!
J
--results
也将副本打印到 stdout/stderr。这在未来可能会改变(参见 https://lists.gnu.org/archive/html/parallel/2020-12/msg00003.html)。
现在您只需将输出重定向到 /dev/null。
我早就停止使用 disown
。相反,我登录到远程服务器,在 tmux
中启动 tmux
和 运行 个作业。 disown
应该不会影响 GNU Parallel,所以我无法解释你在 --joblog
.
中看到的奇怪情况
我在 运行 我的工作中使用 gnu 时遇到问题。尽管设置了 --results
参数并以“&”结束我的命令,bash 仍然显示从我的命令到屏幕的任何输出。这是我的代码的一般结构(假设我 运行 的程序称为“命令”,并且 filenames.txt 逐行存储所有输入文件):
parallel -a filenames.txt -j 6 --results logs/ --joblog joblog command --input {} --output {}.out &
另外,不知道在这种情况下使用disown
会不会有什么问题。在我的一个 运行 中,奇怪的是 joblog
文件似乎被中断并停止更新,尽管 运行 有更多的工作。从输出文件(stderr,由 --results
设置)来看,大多数未被 joblog
文件记录的作业实际上已完成,但有一些不完整的 stderr。我不确定那些带有不完整 stderr 的作业是否成功完成,因为输出文件(由 --output
设置)的文件大小看起来正常。我检查了joblog
文件的时间戳,最后一次更新时间可能是我使用disown
的时候(虽然我不确定)。
总的来说,根据GNU Parallel的手册和教程,我不确定运行ning parallel在后台的兼容性。
谢谢!
J
--results
也将副本打印到 stdout/stderr。这在未来可能会改变(参见 https://lists.gnu.org/archive/html/parallel/2020-12/msg00003.html)。
现在您只需将输出重定向到 /dev/null。
我早就停止使用 disown
。相反,我登录到远程服务器,在 tmux
中启动 tmux
和 运行 个作业。 disown
应该不会影响 GNU Parallel,所以我无法解释你在 --joblog
.