如何使用wget递归地获取一些带有模式的数据

Question

我正在尝试从此网站 (http://nomads.ncep.noaa.gov/pub/data/nccf/com/hourly/prod/) 下载一些特定文件，它们保留 10 天的数据。我想从所有以"nam_pcpn_anal"开头的目录下载所有以"ST4"开头的文件。我可以从一个文件夹中下载所有以 "ST4" 开头的文件，例如 :

wget -r -nd -N --no-parent -nH --cut-dirs=100 -P ~/test/ -A ST4* 'http://nomads.ncep.noaa.gov/pub/data/nccf/com/hourly/prod/nam_pcpn_anal.20160625/'

但我不知道如何递归搜索ST4。我认为以下应该可行，但不行！

wget -r -nd -N --no-parent -nH --cut-dirs=100 -P ~/test/ -A ST4* --accept nam_pcpn_anal*/ST4* 'http://nomads.ncep.noaa.gov/pub/data/nccf/com/hourly/prod/'

有什么想法！

Answer 1

wget manual显示：

   -I list
   --include-directories=list
       Specify a comma-separated list of directories you wish to follow
       when downloading.  Elements of list may contain wildcards.

所以，你可以试试：

wget -r -nd -N --no-parent -nH --cut-dirs=100 -P ~/test/ \
    -A 'ST4*' -I '*/nam_pcpn_anal.*' \
    'http://nomads.ncep.noaa.gov/pub/data/nccf/com/hourly/prod/'

如何使用wget递归地获取一些带有模式的数据

how to recursively fetch some data with pattern using wget

linux

wget