使用 Wget / Curl 只下载最新的文件

Question

如何使用 wget 或 curl 下载目录中的最新文件？

这看起来很简单，但是文件名并不总是可以预测的，并且随着新数据的到来，它会被随机文件名替换。

具体来说，我希望从中下载数据的目录具有以下命名结构，其中最后一串字符是随机生成的时间戳：

MRMS_RotationTrackML1440min_00.50_20160530-175837.grib2.gz
MRMS_RotationTrackML1440min_00.50_20160530-182639.grib2.gz
MRMS_RotationTrackML1440min_00.50_20160530-185637.grib2.gz

随机生成的时间戳格式为：{小时}{分钟}{秒}

有问题的目录在这里：http://mrms.ncep.noaa.gov/data/2D/RotationTrackML1440min/

它是否必须包含 headers 中的某些内容，您可以在其中使用 curl 筛选 last-modified 时间戳？

在此先感谢任何帮助。

Answer 1

您可以定期运行执行以下命令：

wget -r -nc --level=1 http://mrms.ncep.noaa.gov/data/2D/RotationTrackML1440min/

它将递归下载上次运行之后目录中的任何新内容。

使用 Wget / Curl 只下载最新的文件

Downloading Only Newest File Using Wget / Curl

bash

shell

curl

wget