Bash "gnu-find" + "gnu-parallel" 在 --pipe 模式下执行 cmd，其中一些文件的名称中包含 space(s)

Question

我似乎无法解决我的 space 文件名问题，如通常推荐的那样，在这种情况下使用 gnu-find 的 -print0 和 gnu-parallel 的 -0，gnu-xargs 等开关。

我成功地将 find、管道模式下的并行和 xargs 组合到运行命令中，在“块”中并行处理 100k+ 个文件。我在下面的示例中使用了 echo 和 ls，但我打算使用我自己的 python 命令。请注意，由于启动我的程序的开销，我想运行多个文件上的每个命令实例，因此在 --pipe 模式和 --block 等中使用并行。命令

find ./dirNames/ -type f | parallel --pipe --block 100 -j4 --round-robin "echo \"Start *****\"; cat ; echo \"Done *****\""

结果

Start *****
./dirNames/bbbbbbbbbbbbbbbb
./dirNames/dddddddddddddddddddd
./dirNames/aaaaaaaaaaaaaaaa
Done *****
Start *****
./dirNames/cccccccc cccccccc
./dirNames/eeeeeeeeeeeeeeeeeeee
Done *****

随心所欲。 gnu-echo 是运行两次，在一个实例中它是运行有 3 个文件，在另一个实例中有 2 个文件。如果我用 xargs 和 ls 尝试这个，我运行进入文件名问题中的经典 space ...

find dirNames/ -type f | parallel --pipe --block 40 -j4 --round-robin "echo \"Start *****\"; xargs ls -l ; echo \"Done *****\""

导致这个

Start *****
-rw-rw-r-- 1 robert robert 0 Jun 24 10:10 dirNames/bbbbbbbbbbbbbbbb
-rw-rw-r-- 1 robert robert 0 Jun 25 16:11 dirNames/eeeeeeeeeeeeeeeeeeee
Done *****
Start *****
-rw-rw-r-- 1 robert robert 0 Jun 24 10:10 dirNames/aaaaaaaaaaaaaaaa
Done *****
Start *****
-rw-rw-r-- 1 robert robert 0 Jun 25 16:11 dirNames/dddddddddddddddddddd
Done *****
Start *****
Done *****
ls: cannot access 'dirNames/cccccccc': No such file or directory
ls: cannot access 'cccccccc': No such file or directory

在这种情况下，我似乎无法使用诸如 -print0 之类的开关来修复 find 和 -0 用于并行和 xargs 之类的开关，这通常是针对此问题的建议。 parallel 似乎对 find with -print0 的输出感到困惑。请指教，因为我真的运行没有想法:(

Answer 1

这是我发布到 GNU Parallel 邮件列表的答案。

我认为您需要并行使用 --recstart '[=11=]' 而不是 或 --null。而且我认为当您运行您的 python 脚本在命令行上使用文件名时，您会运行遇到问题 - 我在这里使用 ls 来演示一个可能的也可以解决这个问题。

$ find -type f -print0 | parallel --keep-order --no-run-if-empty --pipe --blocksize 15 --recstart '[=10=]' --roundrobin \
  "echo start {#}; xargs -0r ls -Q 2>&- | xargs -rt ls --fu; echo end {#}"
start 1
-rw-r--r-- 1 larry wheel 0 2021-06-27 12:39:02.916427000 -0700 ./a
-rw-r--r-- 1 larry wheel 0 2021-06-27 12:40:33.076957000 -0700 ./g
-rw-r--r-- 1 larry wheel 0 2021-06-27 12:40:33.096995000 -0700 ./i
end 1
ls --fu ./a ./g ./i 
start 2
-rw-r--r-- 1 larry wheel 0 2021-06-27 12:39:02.916552000 -0700 ./b c
-rw-r--r-- 1 larry wheel 0 2021-06-27 12:40:33.076553000 -0700 ./f
-rw-r--r-- 1 larry wheel 0 2021-06-27 12:40:33.077123000 -0700 ./h
end 2
ls --fu './b c' ./f ./h 
start 3
-rw-r--r-- 1 larry wheel 0 2021-06-27 12:39:02.916633000 -0700 ./d
-rw-r--r-- 1 larry wheel 0 2021-06-27 12:40:33.076273000 -0700 ./e
end 3
ls --fu ./d ./e

请注意第一个 ls 上的 stderr 抑制 - 如果没有它，ls 会出现关于无法在空文件名上列出文件属性的错误消息。

Bash "gnu-find" + "gnu-parallel" 在 --pipe 模式下执行 cmd，其中一些文件的名称中包含 space(s)

Bash "gnu-find" + "gnu-parallel" in --pipe mode and executing cmds with some files having space(s) in their names

bash

spaces

xargs

gnu-parallel

gnu-findutils