使用 wget 下载目录
using wget to download a directory
我正在尝试下载在线目录中的所有文件。我使用的命令是:
wget -r -np -nH -R index.html
http://www.oecd-nea.org/dbforms/data/eva/evatapes/mendl_2/
使用这个命令我得到一个空目录。如果我在最后指定文件名,我可以一次获得一个,但我想一次获得它们。我只是错过了一些简单的东西吗?
命令输出:
--2015-03-14 14:54:05-- http://www.oecd-nea.org/dbforms/data/evaevatapes/mendl_2/
正在解析 www.oecd-nea.org... 193.51.64.80
正在连接到 www.oecd-nea.org|193.51.64.80|:80... 已连接。
已发送 HTTP 请求,正在等待响应... 200 OK
长度:未指定 [text/html]
保存到:âdbforms/data/eva/evatapes/mendl_2/index.htmlâdbforms/data/eva/evatapes/mendl_2/index.htmlârobots.txtârobots.txt
添加您想要关注的 link 的深度(-l1
,因为您只想关注一个 link):
wget -e robots=off -l1 -r -np -nH -R index.html http://www.oecd-nea.org/dbforms/data/eva/evatapes/mendl_2/
我还添加了 -e robots=off
,因为有一个 robots.txt
通常会阻止 wget 通过该目录。对于世界其他地区:
-r
递归,
-np
无父目录
-nH
没有跨越主机
我正在尝试下载在线目录中的所有文件。我使用的命令是:
wget -r -np -nH -R index.html
http://www.oecd-nea.org/dbforms/data/eva/evatapes/mendl_2/
使用这个命令我得到一个空目录。如果我在最后指定文件名,我可以一次获得一个,但我想一次获得它们。我只是错过了一些简单的东西吗?
命令输出:
--2015-03-14 14:54:05-- http://www.oecd-nea.org/dbforms/data/evaevatapes/mendl_2/ 正在解析 www.oecd-nea.org... 193.51.64.80 正在连接到 www.oecd-nea.org|193.51.64.80|:80... 已连接。 已发送 HTTP 请求,正在等待响应... 200 OK 长度:未指定 [text/html] 保存到:âdbforms/data/eva/evatapes/mendl_2/index.htmlâdbforms/data/eva/evatapes/mendl_2/index.htmlârobots.txtârobots.txt
添加您想要关注的 link 的深度(-l1
,因为您只想关注一个 link):
wget -e robots=off -l1 -r -np -nH -R index.html http://www.oecd-nea.org/dbforms/data/eva/evatapes/mendl_2/
我还添加了 -e robots=off
,因为有一个 robots.txt
通常会阻止 wget 通过该目录。对于世界其他地区:
-r
递归,-np
无父目录-nH
没有跨越主机