使用 Python 将多个 .gz 文件解压缩为单个文本文件

Question

我正在尝试将多个 .gz 扩展文件解压缩到单个 .txt 文件中。所有这些文件都有 json 数据。

我尝试了以下代码：

from glob import glob
import gzip

for fname in glob('.../2020-04/*gz'):
    with gzip.open(fname, 'rb') as f_in:
     with open('.../datafiles/202004_twitter/decompressed.txt', 'wb') as f_out:
        shutil.copyfileobj(f_in, f_out)

但是decompressed.txt文件只有最后一个.gz文件的数据。

Answer 1

改用"wba"模式。 a 以附加模式打开。 w 单独将在打开时删除文件。

Answer 2

只是将 f_out 拖到外面，所以你在 之前打开它 迭代输入文件并保持打开那个句柄。

from glob import glob
import gzip

with open('.../datafiles/202004_twitter/decompressed.txt', 'wb') as f_out:
    for fname in glob('.../2020-04/*gz'):
        with gzip.open(fname, 'rb') as f_in:
            shutil.copyfileobj(f_in, f_out)

使用 Python 将多个 .gz 文件解压缩为单个文本文件

Unzipping multiple .gz files into single text file using Python

python

gzip