Powershell cat 命令 - 为什么输出文件大小远大于输入文件大小的总和？

Question

在我的 Windows 10 PC 上，有三个文件，每个 10GB，我想通过 cat file_name_prefix* >> some_file.zip 合并它们。然而，在我通过 Ctrl+C 中止操作之前，输出文件增长了 38GB 之多。这是预期的行为吗？如果不是，我哪里出错了？

Answer 1

它可能在循环中，递归地将包括结果在内的所有文件连接到结果文件（使用 glob 通配符）。

您可以在 glob 中添加一个扩展名，暂时将其另存为另一个扩展名，然后将其移动到正确的扩展名中。（如建议：）

例如当你有 3 个文件时：

a.txt 里面 a
b.txt 里面 b
c.txt 里面 c

cat *.txt > res.csv ; mv res.csv res.txt

cat .\res.txt
a
b
c

编辑

这个 cat 命令（如上所示），结合输出重定向 > 将增加结果文本文件，正如@mklement0 指出的那样。

根据文档 (https://docs.microsoft.com/en-us/powershell/module/microsoft.powershell.management/get-content?view=powershell-7.1)：

-Encoding

Specifies the type of encoding for the target file. The default value is utf8NoBOM.

然而，带有输出重定向的编码改变了编码，如此 post 中所解释的：

为了说明这一点，我将 a.txt、b.txt 和 c.txt 转换为 zip 文件（现在它们是二进制格式）。

cat -Encoding Byte *.zip > res.csv ; mv res.csv res2.txt
cat -Raw *.zip > res.csv ; mv res.csv res3.txt

ls .
Mode                LastWriteTime         Length Name
----                -------------         ------ ----
-a----       15/03/2021     21:29            109 a.zip
-a----       15/03/2021     21:29            109 b.zip
-a----       15/03/2021     21:29            109 c.zip
-a----       15/03/2021     21:39           2282 res2.txt
-a----       15/03/2021     21:41            668 res3.txt

我们可以看到 res3.txt 的输出大小加倍（对于每个 utf-8 字节读取 utf-16 将输出 2.

-Encoding Byte 输出与输出重定向相结合，会使情况变得更糟。

Answer 2

Cat 是 Get-Content 的别名，它默认采用文本文件 - 输出大小可能是由于这种转换。您可以尝试为二进制文件添加 -raw 开关 - 这可能有用吗？（不确定）

绝对可以使用如下所示的复制命令将二进制文件与 CMD shell 一起“cat”。

copy /b part1.bin+part2.bin+part3.bin some_file.zip

(第3部分*.bin是要合并成some_file.zip的文件)

Answer 3

PowerShell 的 cat A.K.A Get-Content reads text file content into an array of strings by default. It also reads the file and checks for the BOM 可以在您未指定字符集时正确处理编码。这意味着它不适用于二进制文件

要在 PowerShell 6+ 中合并二进制文件，您需要使用 -AsByteStream 参数

Get-Content -AsByteStream file_name_prefix* | `
    Set-Content -AsByteStream some_file.zip # or
Get-Content -AsByteStream file1, file2, file3 | `
    Set-Content -AsByteStream some_file.zip

较旧的 PowerShell 没有该选项，因此 ~~您唯一可以使用的是 -Raw~~

Get-Content -Raw file_name_prefix* | Set-Content -Raw some_file.zip

~~但是速度会很慢，因为输入文件仍被视为文本文件并逐行读取~~。为了提高速度，您需要使用其他解决方案，例如直接从 PowerShell

调用 Win32 API

更新：

如前所述，Get-Content 中只有 -Raw，Set-Content 中没有，不适合二进制内容。您需要使用 -Encoding Byte

Get-Content -Encoding Byte file_name_prefix* | Set-Content -Encoding Byte some_file.zip

见

Fast and simple binary concatenate files in Powershell
Concatenate files using PowerShell

Powershell cat 命令 - 为什么输出文件大小远大于输入文件大小的总和？

Powershell cat command - why is the output file size much larger than the sum of the input file sizes?

powershell

command-line

cat

编辑

更新：