如何从 CommonCrawl 中检索页面的 HTML?

How to retrieve the HTML of a page from CommonCrawl?

假设我有:

如何获取该页面的 HTML 内容?

感谢您的时间和关注。

使用 warcio 就是:

warcio extract --payload <file.warc.gz> <offset>

或者,使用 HTTP 范围请求获取 WARC 记录,然后在偏移量 0 处提取有效负载:

curl -s -r331727487-$((331727487+6613-1)) \
   https://commoncrawl.s3.amazonaws.com/crawl-data/CC-MAIN-2020-40/segments/1600400203096.42/warc/CC-MAIN-20200922031902-20200922061902-00310.warc.gz \
   >warc_temp.warc.gz
warcio extract --payload warc_temp.warc.gz 0

范围从offset开始,到offset+length-1结束。另见