如何使用 HTTP 为 Common Crawl 新闻数据集获取 WARC 文件列表?

How to get a listing of WARC files using HTTP for Common Crawl News Dataset?

我可以通过以下方式获取 Common Crawl 的列表:

https://commoncrawl.s3.amazonaws.com/crawl-data/CC-MAIN-2017-09/wet.paths.gz

如何使用 Common Crawl 新闻数据集执行此操作?

我尝试了不同的选项,但总是出错:

https://commoncrawl.s3.amazonaws.com/crawl-data/CC-NEWS-2017-09/warc.paths.gz

https://commoncrawl.s3.amazonaws.com/crawl-data/CC-NEWS/2017/09/warc.paths.gz

由于每隔几个小时就会向新闻数据集中添加一个新的 WARC 文件,因此静态文件列表没有意义。相反,您可以使用 AWS CLI 获取文件列表 - 对于按年或按月的任何子集,例如

aws --no-sign-request s3 ls --recursive s3://commoncrawl/crawl-data/CC-NEWS/2017/09/

另见 news data release announcement