使用 wget 下载特定目录数据
Download specific directories data with wget
我正在使用 Ubuntu 系统命令行中的 'wget'
从 'ftp'
服务器下载数据。我知道如何从特定 URL 下载所有目录。他们有任何命令 select 并下载一些特定目录吗?
我正在使用"wget -c -r --no-parent 'URL' --user=xx --password=xx"
现在,如果我给出 URL xx,然后是年份,比如 2009,那么 URL 将是 xx/2009
。现在我想下载 2009 年内的第 100 到 365 个文件夹,而不是全部文件夹 (001 to 365)
。我该怎么做?
您可以使用 shell 扩展指定您想要的目录:
wget -c -r --no-parent URL/2009/{100..365} --user=xx --password=xx
如果有人在搜索这些类型的问题,我现在有另一个解决方案,它比
wget -c -r --no-parent URL/2009/{100..365} --user=xx --password=xx
这没有任何问题,但是如果 URL 的编程方式不允许任何人一次下载大量数据,那么下一个就可以解决问题
for i in $(seq -w 144 365);do wget -r --no-parent URL/year/$i --user=XX --password=xx ; sleep 30; done
我正在使用 Ubuntu 系统命令行中的 'wget'
从 'ftp'
服务器下载数据。我知道如何从特定 URL 下载所有目录。他们有任何命令 select 并下载一些特定目录吗?
我正在使用"wget -c -r --no-parent 'URL' --user=xx --password=xx"
现在,如果我给出 URL xx,然后是年份,比如 2009,那么 URL 将是 xx/2009
。现在我想下载 2009 年内的第 100 到 365 个文件夹,而不是全部文件夹 (001 to 365)
。我该怎么做?
您可以使用 shell 扩展指定您想要的目录:
wget -c -r --no-parent URL/2009/{100..365} --user=xx --password=xx
如果有人在搜索这些类型的问题,我现在有另一个解决方案,它比
wget -c -r --no-parent URL/2009/{100..365} --user=xx --password=xx
这没有任何问题,但是如果 URL 的编程方式不允许任何人一次下载大量数据,那么下一个就可以解决问题
for i in $(seq -w 144 365);do wget -r --no-parent URL/year/$i --user=XX --password=xx ; sleep 30; done