多进程可以加速压缩任务多少？

Question

我有一个大型压缩任务（压缩 10000 个大文件（每个 > 10 G））

我发现 xz -z 或 gzip 很慢。

所以，我想使用多进程来并行压缩。

但是我听说高IO任务的限制是IO速度。

我硬件设计不是很好

那么，多进程可以加速压缩吗？

Answer 1

是的，可以。压缩通常受计算限制，而不是 I/O 限制。您可以使用 pigz 来接近 n 核心的 n 加速因子。