wget --warc-file --recursive，防止写入单个文件

Question

我运行 wget 创建一个 warc 存档如下：

$ wget --warc-file=/tmp/epfl --recursive --level=1 http://www.epfl.ch/

$ l -h /tmp/epfl.warc.gz
-rw-r--r--  1 david  wheel   657K Sep  2 15:18 /tmp/epfl.warc.gz

$ find .
./www.epfl.ch/index.html
./www.epfl.ch/public/hp2013/css/homepage.70a623197f74.css
[...]

我只需要 epfl.warc.gz 文件。如何防止 wget 创建所有单独的文件？

我试过如下：

$ wget --warc-file=/tmp/epfl --recursive --level=1 --output-document=/dev/null http://www.epfl.ch/
ERROR: -k or -r can be used together with -O only if outputting to a regular file.

Answer 1

对于单个文件（没有 --recursive），选项 -O /dev/null 将使 wget 不为输出创建文件。对于递归提取 /dev/null 不被接受（不知道为什么）。但是，为什么不通过 -O tmpfile 将所有连接的输出写入一个文件，然后删除该文件呢？

Answer 2

tl;dr 添加选项 --delete-after 和 --no-directories.

选项--delete-after 指示wget 在下载完成后立即删除每个下载的文件。因此，执行期间的最大磁盘使用量将是 WARC 文件的大小加上单个最大下载文件的大小。

选项--no-directories 防止wget 留下无用的空目录树。默认情况下，wget 创建一个镜像主机上的目录树，并将每个文件下载到镜像树的适当目录中。即使由于 --delete-after 而下载的文件是临时文件，wget 也会执行此操作。为防止这种情况，请使用选项 --no-directories.

下面使用您给出的示例（略有改动）演示了结果。

$ cd $(mktemp -d)
$ wget --delete-after --no-directories \
  --warc-file=epfl --recursive --level=1 http://www.epfl.ch/
...
Total wall clock time: 12s
Downloaded: 22 files, 1.4M in 5.9s (239 KB/s)
$ ls -lhA
-rw-rw-r--. 1 chadv chadv 1.5M Aug 31 07:55 epfl.warc

如果您忘记使用 --no-directories，您可以使用 find -type d -delete 轻松清理空目录树。

wget --warc-file --recursive，防止写入单个文件

wget --warc-file --recursive, prevent writing individual files

wget

warc