如何使用 wget 下载大量 zip 文件到 url

Question

在url here 有大量zip 文件需要下载并保存到test/files/downloads 目录。我在提示

中使用 wget

wget -i http://bitly.com/nuvi-plz -P test/files/downloads

然后它将整个页面下载到目录中的一个文件中，并开始下载每个 zip 文件，但随后为每个看起来像

的文件给我一个 404

2016-05-12 17:12:28--  http://bitly.com/1462835080018.zip
Connecting to bitly.com|69.58.188.33|:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: https://bitly.com/1462835080018.zip [following]
--2016-05-12 17:12:28--  https://bitly.com/1462835080018.zip
Connecting to bitly.com|69.58.188.33|:443... connected.
HTTP request sent, awaiting response... 404 Not Found
2016-05-12 17:12:29 ERROR 404: Not Found.

如何让 wget 正确下载页面上的所有 zip 文件？

Answer 1

您需要从 bit.ly 获取重定向，然后下载所有文件。这真的很难看，但它起作用了：

wget http://bitly.com/nuvi-plz --server-response -O /dev/null 2>&1 | \
  awk '(NR==1){SRC=;} /^  Location: /{DEST=} END{ print SRC, DEST}' | sed 's|.*http|http|' | \
while read url; do 
  wget -A zip -r -l 1 -nd $url -P test/files/downloads
done

如果您使用直接 link，这将起作用：

wget -A zip -r -l 1 -nd http://feed.omgili.com/5Rh5AMTrc4Pv/mainstream/posts/ -P test/files/downloads

如何使用 wget 下载大量 zip 文件到 url

how do I download a large number of zip files with wget to a url

bash

shell

command-line

wget