如何在python3中用lzma (*.warc.xz)压缩warc记录？

Question

我有一个 warc 记录列表。列表中的每个项目都是这样创建的：

header = warc.WARCHeader({
    "WARC-Type": "response",
    "WARC-Target-URI": "www.somelink.com",
}, defaults=True)
data = "Some string"
record = warc.WARCRecord(header, data.encode('utf-8','replace'))

现在，我正在使用 *.warc.gz 来存储我的记录，如下所示：

output_file = warc.open("my_file.warc.gz", 'wb')

并像这样写记录：

output_file.write_record(record) # type of record is WARCRecord

但是我如何使用 lzma as *.warc.xz 进行压缩？我曾尝试在调用 warc.open 时将 gz 替换为 xz，但 python3 中的 warc 不支持此格式。我找到了这个 trial，但是我无法用这个保存 WARCRecord：

output_file = lzma.open("my_file.warc.xz", 'ab', preset=9)
header = warc.WARCHeader({
    "WARC-Type": "response",
    "WARC-Target-URI": "www.somelink.com",
}, defaults=True)
data = "Some string"
record = warc.WARCRecord(header, data.encode('utf-8','replace'))
output_file.write(record)

错误信息是：

TypeError: a bytes-like object is required, not 'WARCRecord'

感谢您的帮助。

Answer 1

WARCRecord class 有一个 write_to 方法，用于将记录写入文件对象。

您可以使用它来将记录写入使用 lzma.open() 创建的文件。

如何在python3中用lzma (*.warc.xz)压缩warc记录？

How to compress warc records with lzma (*.warc.xz) in python3?

lzma

xz

python-3.x

warc