使用boost将多个文件解压缩到一个文件中

Question

我有一组压缩文件。我必须解压缩所有文件并创建一个大文件。下面的代码工作正常，但我不想使用 std::stringstream 因为文件很大而且我不想创建文件内容的中间副本。

如果我尝试直接使用 boost::iostreams::copy(inbuf, tempfile);，它会自动关闭文件 (tmpfile)。有没有更好的方法来复制内容？或者至少，我可以避免自动关闭此文件吗？

std::ofstream tempfile("/tmp/extmpfile", std::ios::binary);
for (set<std::string>::iterator it = files.begin(); it != files.end(); ++it)
{
    string filename(*it);
    std::ifstream gzfile(filename.c_str(), std::ios::binary);

    boost::iostreams::filtering_streambuf<boost::iostreams::input> inbuf;
    inbuf.push(boost::iostreams::gzip_decompressor());
    inbuf.push(gzfile);

    //closes tempfile automatically!!
    //boost::iostreams::copy(inbuf, tempfile); 

    std::stringstream out;
    boost::iostreams::copy(inbuf, out);
    tempfile << out.str();
}
tempfile.close();

Answer 1

我知道有一些方法可以让 Boost IOStreams 知道它不应该关闭流。我想它要求你使用 boost::iostream::stream<> 而不是 std::ostream。

我似乎有效的简单解决方法是使用与单个 std::filebuf 对象关联的临时 std::ostream：

#include <boost/iostreams/stream.hpp>
#include <boost/iostreams/copy.hpp>
#include <boost/iostreams/filtering_streambuf.hpp>
#include <boost/iostreams/filter/gzip.hpp>
#include <set>
#include <string>
#include <iostream>
#include <fstream>

int main() {
    std::filebuf tempfilebuf;
    tempfilebuf.open("/tmp/extmpfile", std::ios::binary|std::ios::out);

    std::set<std::string> files { "a.gz", "b.gz" };
    for (std::set<std::string>::iterator it = files.begin(); it != files.end(); ++it)
    {
        std::string filename(*it);
        std::ifstream gzfile(filename.c_str(), std::ios::binary);

        boost::iostreams::filtering_streambuf<boost::iostreams::input> inbuf;
        inbuf.push(boost::iostreams::gzip_decompressor());
        inbuf.push(gzfile);

        std::ostream tempfile(&tempfilebuf);
        boost::iostreams::copy(inbuf, tempfile); 
    }
    tempfilebuf.close();
}

Live On Coliru

样本数据如

echo a > a
echo b > b
gzip a b

生成 extmpfile 包含

a
b

使用boost将多个文件解压缩到一个文件中

decompress multiple files in to one single file using boost

c++

boost

gzip

boost-iostreams