通过 URL 递增和下载

Question

我想要一个简单的浏览器自动化，它在 URL 中增加一个数字并从那个地方下载信息。例如，如果地址如下所示：

www.test.com/something/part1_0.jpg

如何递增“1”并从每个连续的网页下载文件？

谢谢

P.S。我正在使用 OS X 10.9

Answer 1

这是一个 ruby 使用 open-uri 的解决方案：

require 'open-uri'

(1..100).each do |num|                                          
  File.open("part#{num}_0.jpg", 'wb') do |f|
    f.write open("www.test.com/something/part#{num}_0.jpg").read 
  end
end

此代码段 A) 创建了一个数字范围； B）遍历数字范围； C) 以二进制方式打开图像文件，并将当前数字插入到文件名中；和 D) 从 URL 读取图像并写入它。

但最简单的方法可能是从命令行使用 curl：

curl -O www.test.com/something/part[1-100]_0.jpg

根据需要访问的网页数量，相应修改括号内的数字。

通过 URL 递增和下载

Incrementing Through URLs and Downloading

browser

download

automation

webpage