使用 wget 和 grep 结合下载

Question

我想用 wget 下载一个网站，然后我想用命令 grep 从网站中提取特定的 link 然后我想下载这个 "grepped" link 再次 wget.

我的尝试：

wget -O website https://www.testwebsite.com/dir/site |
grep -E 'https://testwebsite.com/downloads/picture1' | wget -O myPicture

问题是，它正在下载测试网站。com/dir/site 但没有提取 link 并下载它。

Answer 1

在最后一个 wget 上尝试 -i - parametars 以从标准输入读取链接。此外，第一个 wget 应该使用 -O -

输出到标准输出

例如

wget -O - https://testwebsite.com | grep abcd | wget -i - -O outfile

Answer 2

wget 具有递归功能。您可以使用 -r:

调用它

wget -r 'https://testwebsite.com'

（这适用于 html 中包含的链接）

递归深度可以用-l设置，见man wget。