WARC 文件中的记录数
Number of records in WARC file
我目前正在从 CommonCrawl 语料库解析 WARC 文件，我想预先知道，在不遍历所有 WARC 记录的情况下，有多少条记录。
WARC 1.1 标准是否定义了此类信息？
WARC 标准未定义指示 WARC 文件本身中 WARC 记录数的标准方法。 Common Crawl WARC 文件中的响应记录数通常在 30,000 到 50,000 之间——请注意，还有请求和元数据记录。 WARC 标准推荐 1 GB as target size of WARC files，这对记录数设置了自然限制。
我目前正在从 CommonCrawl 语料库解析 WARC 文件，我想预先知道，在不遍历所有 WARC 记录的情况下，有多少条记录。
WARC 1.1 标准是否定义了此类信息？
WARC 标准未定义指示 WARC 文件本身中 WARC 记录数的标准方法。 Common Crawl WARC 文件中的响应记录数通常在 30,000 到 50,000 之间——请注意，还有请求和元数据记录。 WARC 标准推荐 1 GB as target size of WARC files，这对记录数设置了自然限制。