gzipstream 内存流到文件

Question

我正在尝试使用 Gzip 压缩来压缩 JSON 文件，以便将其发送到另一个位置。它每天需要处理 5,000 - 10,000 个文件，我不需要本地机器上的文件压缩版本（它们实际上正在传输到 AWS S3 以进行长期存档）。

因为我不需要它们，所以我试图压缩到一个内存流，然后用它来写入 AWS，而不是将每个压缩到磁盘。每当我尝试这样做时，文件都会损坏（例如，当我在 7-Zip 中打开它们并尝试打开其中的 JSON 文件时，我会收到“数据错误文件已损坏”）。

当我尝试将内存流写入本地文件时，同样的事情发生了，所以我现在正在尝试解决这个问题。这是代码：

string[] files = Directory.GetFiles(@"C:\JSON_Logs");

foreach(string file in files)
{
    FileInfo fileToCompress = new FileInfo(file);
    using (FileStream originalFileStream = fileToCompress.OpenRead())
    {
        using (MemoryStream compressedMemStream = new MemoryStream())
        {
            using (GZipStream compressionStream = new GZipStream(compressedMemStream, CompressionMode.Compress))
            {
                originalFileStream.CopyTo(compressionStream);
                compressedMemStream.Seek(0, SeekOrigin.Begin);
                FileStream compressedFileStream = File.Create(fileToCompress.FullName + ".gz");

                //Eventually this will be the AWS transfer, but that's not important here
                compressedMemStream.WriteTo(compressedFileStream); 
            }
        }
    }      
}

Answer 1

重新排列您的 using 语句，以便 GZipStream 在您读取内存流内容时肯定已完成：

foreach(string file in files)
{
    FileInfo fileToCompress = new FileInfo(file);
    using (MemoryStream compressedMemStream = new MemoryStream())
    {
        using (FileStream originalFileStream = fileToCompress.OpenRead())
        using (GZipStream compressionStream = new GZipStream(
            compressedMemStream, 
            CompressionMode.Compress,
            leaveOpen: true))
        {
            originalFileStream.CopyTo(compressionStream);
        }
        compressedMemStream.Seek(0, SeekOrigin.Begin);

        FileStream compressedFileStream = File.Create(fileToCompress.FullName + ".gz");
        //Eventually this will be the AWS transfer, but that's not important here
        compressedMemStream.WriteTo(compressedFileStream); 
    }
}

处理流负责冲洗和关闭它。

gzipstream 内存流到文件

gzipstream memory stream to file

c#

filestream

memorystream

gzipstream